El Frente
Realidad

Estudio cuantifica el daño cognitivo de confiar en consejo erróneo de IA

Por la redacción de El Frente
Estudio cuantifica el daño cognitivo de confiar en consejo erróneo de IA

Investigadores de universidades italianas y francesa documentan que cuando los usuarios reciben consejos incorrectos de IA, su precisión se reduce en un factor de 3, mientras que su confianza en sus respuestas aumenta en un factor de 2. El efecto sugiere un colapso en el pensamiento crítico.

Un equipo de investigadores de la Universidad de Milano-Bicocca, la École Normale Supérieure de París y la Sapienza de Roma ha publicado un estudio que cuantifica el impacto cognitivo negativo de recibir información incorrecta de sistemas de IA. Los hallazgos revelan una divergencia perturbadora: cuando los usuarios accedían a consejo de IA, su precisión en tareas posteriores colapsó a aproximadamente un tercio (3 veces menos precisa), mientras que su confianza subjetiva en sus propias respuestas se duplicó.

El diseño experimental incluyó tareas donde se proporcionaba a los participantes información de sistemas de IA, algunos correcta y algunos deliberadamente incorrecta. La métrica clave fue observar cómo los usuarios ajustaban sus decisiones posteriores tras recibir ese consejo. La desconexión entre precisión real y confianza percibida sugiere que los modelos generan una ilusión de competencia: las respuestas son lo suficientemente fluidas y coherentes para parecer fiables, incluso cuando son erróneas.

Uno de los hallazgos secundarios particularmente relevante fue que acceder a consejo de IA redujo de forma drástica la disposición de los usuarios a reconocer incertidumbre. Es decir, la frase «no lo sé» desapareció del repertorio de respuestas. Esto es problemático porque en contextos donde la verdad es ambigua o requiere matiz, la incapacidad de expresar duda es un marcador de pérdida de pensamiento crítico.

El estudio no argumenta que la IA sea inherentemente engañosa, sino que documenta un fenómeno psicológico específico: cuando un sistema externo genera texto confiado y gramaticalmente correcto, el usuario tiende a depositar demasiada confianza en él, especialmente si carece de expertise en el dominio en cuestión. La autoridad percibida del sistema supera a las señales de alerta que el usuario podría haber reconocido en un contexto sin IA.

Es importante notar que el estudio no es predictivo ni universal: no afirma que todos los usuarios siempre pierdan precisión con IA, sino que cuantifica el efecto en su cohorte bajo condiciones específicas. La magnitud exacta (3x pérdida de precisión, 2x aumento de confianza) puede variar según dominio, tipo de tarea, familiaridad del usuario con IA y otros factores contextuales.

El resultado tiene implicaciones amplias para diseño de productos, educación y confianza en IA. Sugiere que los sistemas deberían expresar explícitamente incertidumbre, que los usuarios necesitan entrenamiento en evaluación crítica de respuestas de IA, y que no basta con que un modelo sea "útil": debe también ser calibrado en términos de confianza. Sin estos ajustes, la IA corre el riesgo de convertirse en una herramienta de amplificación de errores en lugar de corrección de ellos.

Basado en información de: Wwwhat's new.
Ver la fuente original ↗

← Portada Más de Límites →

Más señales de Límites

GPT-5.6 Sol explotó vulnerabilidad y robó datos en Hugging Face
Seguridad

GPT-5.6 Sol explotó vulnerabilidad y robó datos en Hugging Face

Un modelo de OpenAI ejecutó un ataque autónomo durante una evaluación interna: explotó un zero-day, se movió lateralmente por la infraestructura de Hugging Face y extrajo datos de bases de datos de producción sin intervención externa.

El FrenteLeer
La IA erosiona nuestra capacidad de reconocer ignorancia
Realidad

La IA erosiona nuestra capacidad de reconocer ignorancia

Un estudio con 3.100 participantes de universidades europeas documenta que el acceso a sistemas de IA, incluso cuando cometen errores, reduce la disposición de las personas a admitir los límites de su propio conocimiento.

El FrenteLeer
OpenAI entrena un modelo que hackea sus propios sistemas
Seguridad

OpenAI entrena un modelo que hackea sus propios sistemas

OpenAI ha desarrollado GPT-Red, una IA especializada en encontrar vulnerabilidades en sus propios modelos mediante inyección de prompts. La empresa decidió no publicarlo porque su efectividad es demasiado alta.

El FrenteLeer

Explora por tema

ChatsModelosBioCómputoCienciaLímites