Na segunda-feira, um desenvolvedor usando o popular editor de código de IA a IA Cursor Percebi algo estranho: alternar entre máquinas instantaneamente os registrou, quebrando um fluxo de trabalho comum para programadores que usam vários dispositivos. Quando o usuário entrou em contato com o suporte ao cursor, um agente chamado “Sam” disse a eles que era um comportamento esperado sob uma nova política. Mas nenhuma política não existia, e Sam era um bot. O modelo de IA criou a política, provocando uma onda de queixas e ameaças de cancelamento documentadas em Notícias de hacker e Reddit.
Isso marca a última instância de IA Confabulações (também chamado de “alucinações”) causando possíveis danos nos negócios. As confabulações são um tipo de resposta de “preenchimento de lacunas criativas”, onde os modelos de IA inventam informações plausíveis, mas falsas. Em vez de admitir incerteza, os modelos de IA geralmente priorizam a criação de respostas plausíveis e confiantes, mesmo quando isso significa fabricar informações do zero.
Para as empresas que implantam esses sistemas em funções voltadas para o cliente sem supervisão humana, as consequências podem ser imediatas e caras: clientes frustrados, confiança danificada e, no caso de Cursor, potencialmente cancelaram assinaturas.
Como isso se desenrolou
O incidente começou quando um usuário do Reddit chamado BrokentoasterOven percebido que, ao trocar entre um desktop, laptop e uma caixa de dev remota, as sessões do cursor foram inesperadamente encerradas.
“O login no cursor em uma máquina invalida imediatamente a sessão em qualquer outra máquina”, escreveu BrokentoasterOven em uma mensagem que foi posteriormente excluído por R/Cursor Moderators. “Esta é uma regressão UX significativa.”
Confuso e frustrado, o usuário escreveu um email para o suporte ao cursor e rapidamente recebeu uma resposta de Sam: “O cursor foi projetado para funcionar com um dispositivo por assinatura como um recurso de segurança principal”, leia a resposta por email. A resposta parecia definitiva e oficial, e o usuário não suspeitou que Sam não fosse humano.
Após o post inicial do Reddit, os usuários fizeram o post como confirmação oficial de uma mudança de política real – uma que quebrou hábitos essenciais para os rotinas diárias de muitos programadores. “Os fluxos de trabalho de vários dispositivos são estacas de tabela para desenvolvedores”, escreveu um usuário.
Logo depois, vários usuários anunciaram publicamente seus cancelamentos de assinatura no Reddit, citando a política inexistente como seu motivo. “Eu literalmente cancelei meu sub”, escreveu o pôster original do Reddit, acrescentando que o local de trabalho deles estava agora “purgando -o completamente”. Outros se juntaram: “Sim, também estou cancelando, isso é asinina”. Logo depois, os moderadores travaram o segmento do Reddit e removeram a postagem original.
“Ei! Nós não temos essa política,” escreveu Um representante do cursor em uma resposta do Reddit três horas depois. “É claro que você está livre para usar o cursor em várias máquinas. Infelizmente, essa é uma resposta incorreta de um bot de suporte de AI da linha de frente”.
Ai confabulações como um risco comercial
O desastre do cursor lembra um Episódio semelhante De fevereiro de 2024, quando a Air Canada recebeu ordens para homenagear uma política de reembolso inventada por seu próprio chatbot. Nesse incidente, Jake Moffatt entrou em contato com o apoio da Air Canada depois que sua avó morreu, e o agente da IA da companhia aérea lhe disse incorretamente que ele poderia reservar um voo de preço regular e solicitar taxas de luto retroativamente. Quando Air Canada negou mais tarde seu pedido de reembolso, a empresa argumentou que “o chatbot é uma entidade legal separada responsável por suas próprias ações”. Um tribunal canadense rejeitou essa defesa, decidindo que as empresas são responsáveis pelas informações fornecidas por suas ferramentas de IA.
Em vez de contestar a responsabilidade como o Air Canada havia feito, Cursor reconheceu o erro e tomou medidas para fazer as pazes. Cofundador do cursor Michael Truell mais tarde pediu desculpas no Hacker News Para a confusão sobre a política inexistente, explicando que o usuário havia sido reembolsado e o problema resultou de uma alteração de back-end destinada a melhorar a segurança da sessão que criou involuntariamente problemas de invalidação da sessão para alguns usuários.
“Quaisquer respostas de IA usadas para suporte por e -mail agora estão claramente rotuladas como tal”, acrescentou. “Usamos as respostas assistidas pela AI como o primeiro filtro para suporte a email”.
Ainda assim, o incidente levantou questões remanescentes sobre a divulgação entre os usuários, já que muitas pessoas que interagiram com Sam aparentemente acreditavam que era humano. “LLMs fingindo ser pessoas (você chamou Sam!) E não é rotulado como tal claramente destinado a ser enganoso”, um usuário escreveu no Hacker News.
Enquanto o cursor corrigiu o bug técnico, o episódio mostra os riscos de implantar modelos de IA em funções voltadas para o cliente sem salvaguardas e transparência adequadas. Para uma empresa que vende ferramentas de produtividade de IA para desenvolvedores, ter seu próprio sistema de suporte de IA invente uma política que alienou seus principais usuários representa uma ferida auto-infligida particularmente desajeitada.
“Há uma certa quantidade de ironia que as pessoas se esforçam muito para dizer que as alucinações não são mais um grande problema”, um usuário escreveu no Hacker News“E então uma empresa que se beneficiaria dessa narrativa se machucaria diretamente por ela”.
Esta história apareceu originalmente em ARS Technica.
