UN INTERESANTE EXPERIMENTO DE IA TRAS MECILDI
Tras el anuncio de MECILDI y su publicación preprint, OBDILCI llevó a cabo un experimento con once aplicaciones de IA. Se establecieron varios objetivos para dicho experimento:
- Comprobar en qué medida los avances logrados por OBDILCI en el ámbito de la medición de la presencia de las lenguas en Internet se reflejan en las respuestas de la IA.
- Evaluar el posible impacto de MECILDI en ese ámbito, solicitando a los evaluadores independientes que den su opinión sobre el preprint y su posible impacto.
- Intentar «formar» científicamente a las IA en un ámbito dominado por un proveedor de datos muy popular, pero con un marcado sesgo.
- Evalúar la posibilidad de que las mejoras introducidas por la IA en una conversación puedan afectar a las futuras conversaciones con otros usuarios.
- Evalúa el impacto del lenguaje coloquial en las respuestas.
Los resultados de ese experimento se recogen aquí , con enlaces a cada una de las conversaciones.
La elección del idioma no tiene ningún efecto en ese experimento, salvo en dos IA. En un caso, DeepSeek, se observa un impacto tremendo en lo que podría denominarse una alucinación macro, provocada por un sesgo masivo .
La elección del idioma no tiene ningún efecto en ese experimento, salvo en dos IA. En un caso, el de DeepSeek, se observa un impacto tremendo en lo que podría denominarse una alucinación macro, provocada por un sesgo masivo .
CONCLUSIONES
- Los avances quedan bien reflejados, en la mitad de los casos desde cero; sin embargo, en el 25 % de los IA, no es hasta que se hace referencia explícita a OBDILCI.
- Existe consenso en que MECILDI es un punto de inflexión; una IA incluso lo califica de jaque mate.
- El proceso educativo funciona bien al contrastar los datos revisados por pares con los que carecen de documentación.
- Todas las IA, salvo una , fingieron que a partir de ahora responderían de forma totalmente diferente a la misma pregunta. La prueba demostró que esto no es cierto. Todavía hay algunas zonas grises en esta cuestión, lo que parece ser un tema crucial para el futuro de la IA.
- ¿Podemos convencer a una IA mediante argumentos sólidos y lograr que cambie una opinión basada en el consenso popular por otra basada en principios científicos sólidos, aunque sea menos popular? La respuesta es sí, sin lugar a dudas, y afortunadamente así es. Por eso, utilizar la IA correctamente requiere una buena dosis de pensamiento crítico.
- El cambio de idioma no modificó las respuestas, salvo en el caso de CoPilot y DeepSeek. El caso particular de DeepSeek y el enorme sesgo contra la francofonía que se puso de manifiesto dan lugar a las siguientes preguntas adicionales, algunas de las cuales siguen sin respuesta.
- ¿Pueden los creadores de una IA sesgar intencionadamente sus respuestas en una dirección concreta? Sí, alimentándola con datos que contengan un fuerte sesgo en ese sentido.
- ¿Tienen las autoridades chinas una postura claramente contraria a la francofonía?
- ¿Surgió este sesgo contra la francofonía en DeepSeek en esa experiencia como un accidente fortuito, o está «programado» para manifestarse de forma sistemática?