UMA EXPERIÊNCIA INTERESSANTE COM IA APÓS O MECILDI

Posted on: Last updated on: Written by:

UMA EXPERIÊNCIA INTERESSANTE COM IA APÓS O MECILDI

Após o anúncio do MECILDI e da sua publicação pré-impressa, o OBDILCI realizou uma experiência com onze aplicações de IA. Foram definidos vários objetivos para essa experiência:

  1. Verifique em que medida os avanços alcançados pela OBDILCI no âmbito da medição da presença das línguas na Internet se refletem nas respostas da IA .
  2. Avaliar o potencial impacto do MECILDI nesse domínio, solicitando aos avaliadores independentes que se pronunciem sobre o pré-impresso e o seu potencial impacto.
  3. Tente «educar» cientificamente as IA num domínio dominado por um fornecedor de dados extremamente popular, mas fortemente tendencioso.
  4. Avaliar a possibilidade de que a melhoria introduzida pelas IA numa conversa possa ter impacto em futuras conversas com outros utilizadores.
  5. Avalie o impacto da linguagem de conversação nas respostas.

Os resultados dessa experiência estão documentados aqui , com links para cada conversa específica.

A escolha da língua não tem qualquer efeito nessa experiência, exceto em duas IA. Um dos casos, o DeepSeek, revelou um impacto tremendo no que se poderia designar por uma alucinação macro, desencadeada por um enorme viés.

A escolha da língua não tem qualquer efeito nessa experiência, exceto em duas IA. Um dos casos, o DeepSeek, revelou um impacto tremendo no que se poderia chamar de alucinação macro, desencadeada por um enorme viés.

CONCLUSÕES

  1. Os progressos estão bem refletidos, em metade dos casos desde o início; no entanto, em 25 % das IA, só depois de se fazer explicitamente referência ao OBDILCI.
  2. Existe um consenso de que o MECILDI é um ponto de viragem; uma IA chega mesmo a chamá-lo de «xeque-mate».
  3. O processo educativo funciona bem ao contrastar dados sujeitos a revisão por pares com dados não documentados.
  4. Todas as IAs, com exceção de uma , afirmaram que, a partir de agora, iriam responder de forma totalmente diferente à mesma pergunta. O teste provou que isso não é verdade. Ainda existem algumas zonas cinzentas nesta questão, o que se revela um tema crucial para o futuro da IA.
  5. Será que podemos convencer uma IA com argumentos sólidos e levá-la a mudar uma opinião baseada no consenso popular para outra baseada em princípios científicos sólidos, mesmo que menos popular? A resposta é sim, sem dúvida, e felizmente é assim. É por isso que utilizar a IA corretamente requer uma boa dose de pensamento crítico.
  6. A mudança de idioma não alterou as respostas, com exceção do CoPilot e do DeepSeek. O caso específico do DeepSeek e o enorme preconceito contra a francofonia que se revelou suscitam as seguintes questões adicionais, algumas das quais continuam sem resposta.
  7. Os criadores de uma IA podem influenciar intencionalmente as suas respostas num sentido específico? Sim, alimentando-a com dados que contenham fortemente esse viés.
  8. As autoridades chinesas têm uma postura claramente hostil em relação aos francófonos?
  9. Será que esse preconceito contra a Francofonia no DeepSeek surgiu nessa experiência como um acidente fortuito, ou está «programado» para se manifestar de forma sistemática?