Uma Inteligência Artificial não tão inteligente assim. O feito é da Mozilla e tem gerado muitas reclamações de usuários insatisfeitos com os resultados. É que a Mozilla Developer Network, um recurso técnico amplamente utilizado para desenvolvedores da Web, apresentou esta semana um serviço de assistência chamado AI Help, talvez sem saber que seu robo-helper fornece conselhos incorretos. Sendo assim, a Mozilla Developer Network adiciona AI Help que dá várias dicas erradas aos usuários.
Um problema do GitHub aberto na sexta-feira no repositório do MDN para Yari, o código da plataforma que suporta o MDN, conta a triste história.
Um desenvolvedor que atende pelo nome de Eevee explica que o comportamento esperado do MDN é “conter informações corretas”.
O comportamento real do AI Help, baseado no ChatGPT da OpenAI, nem sempre é esse, observam eles. “MDN gerou uma mentira convincente e não há nenhum processo aparente para corrigi-la”, relata Eevee.
Mozilla Developer Network adiciona AI Help que dá várias dicas erradas aos usuários
Não era para ser assim. O AI Help foi inspirado no Supabase Clippy , que por sua vez foi inspirado no Clippy, que, como você deve se lembrar, foi uma vergonha para a Microsoft. Então, talvez tenha sido predeterminado, afinal.
A AI Help é atualmente oferecida para aqueles que se registraram para uma conta MDN Plus gratuita (ou plano pago sem anúncios).
“AI Help não é apenas uma nova ferramenta – é seu novo companheiro de solução de problemas”, declarou Hermina Condei, diretora do grupo de produtos MDN da Mozilla, em um post de blog no início desta semana.
“Ele foi projetado para otimizar seus processos de pesquisa, tornando mais rápido e fácil encontrar as informações de que você precisa. Veja como funciona: basta fazer uma pergunta no MDN e o AI Help começa a funcionar. Ele mergulha em nosso repositório abrangente de documentação, recupera as informações mais pertinentes e as apresenta a você em um resumo sucinto.”
AI Help inclui AI Explain, um botão que solicita que o chatbot opine sobre o texto atual da página da web. É essa função específica que saiu dos trilhos, embora seja alegado que a função geral AI Help também fornece respostas erradas.
Aqueles que concordam com o relatório de bug de Eevee parecem ser um pouco críticos de seu novo assistente de IA.
“Este óleo de cobra ‘IA’ é pior do que inútil pelas razões descritas acima; outros exemplos são triviais de criar”, disse MrLightningBolt. “Isso torna o MDN pior apenas por estar lá.”
Ou isto , da datarocks: “Como alguém que ocasionalmente mergulha em CSS quando ninguém mais está disponível e algo precisa ser consertado, eu dependo desses documentos para ser confiável. Isso é ainda mais verdadeiro hoje do que era no passado, à medida que o chum gerado pelo LLM se espalha pela web. Por favor, mantenha o MDN como uma fonte confiável de documentação de desenvolvedor gerada por humanos.”
Outros relatam que o AI Help se contradiz , identifica erroneamente as funções CSS , explica erroneamente as funções de acessibilidade e geralmente não entende CSS.
Avdi Grimm escreveu : “Eu não passei uma década tentando convencer as pessoas a usar o MDN sobre as pás de texto de baixa qualidade de agricultura de SEO no W3Schools, apenas para serem apresentadas com pás de texto de AI de baixa qualidade no MDN. “
E alguns pensamentos de Dalton Miner: “Eu uso o MDN porque é uma fonte abrangente e precisa de documentação sem enrolação. Não consigo ver como a saída do LLM, propensa a imprecisões flagrantes, melhora isso. Isso enfraquece drasticamente minha confiança no MDN e temo que seja inclusão promoverá uma dependência excessiva na geração de texto barato, mas não confiável.”
Houve até uma comparação com o Clippy original.
Críticas e mais críticas
E aqui está o desenvolvedor Andi McClure criticando o novo recurso AI Help: “Além das questões éticas, legais e de reputação aqui – praticamente falando, até que eu tenha certeza de que toda a integração e conteúdo de ‘AI’ foram permanentemente removidos do MDN, não posso confiar , ou usar, MDN para qualquer finalidade. Se você colocá-lo em um lugar, como sei que não o colocou em outro? A corrupção ‘AI’ já está intercalada com o conteúdo . Atualmente parece que você tem que clicar em específico lugares marcados para obter o conteúdo ‘AI’ para gerar, mas como posso ter certeza de que isso continuará sendo o caso no futuro?”
Os comentários continuam assim. Se ao menos alguém pudesse ter previsto isso.
A Mozilla não respondeu imediatamente a um pedido de comentário.
No entanto, enquanto esta história estava sendo escrita, um mantenedor principal do MDN, sideshowbarker, parece ter notado a confusão.
A mudança parece ter chegado às fontes há dois dias, em e342081 – sem nenhum problema associado, apenas um PR em # 9188 que não inclui absolutamente nenhuma discussão ou informações básicas de qualquer tipo.
Neste ponto, parece-me ser algo que a Mozilla decidiu fazer por conta própria, sem dar nenhum aviso de qualquer tipo a outras partes interessadas do MDN. (Posso estar errado; estive um pouco ausente – muito do meu tempo no último mês foi gasto em outro lugar, infelizmente, e isso me impediu de fazer o trabalho MDN que normalmente faria.)
Uma pausa
De qualquer forma, essa coisa de “AI Explain” é uma ideia monumentalmente ruim, claramente – por razões óbvias (mas também pelas razões específicas que outras pessoas reservaram tempo para adicionar comentários a esse problema para ajudar a esclarecer).
Neste ponto, posso pelo menos prometer que vou escalar isso internamente o mais alto possível, com a maior urgência possível (e já comecei a fazer isso, antes mesmo de postar este comentário) – com o objetivo de removê-lo absolutamente o mais rápido possível.
Por volta das 08h17 UTC de sábado, um esforço estava em andamento para desfazer a função AI Explain. O botão AI Explain foi pausado, por enquanto.