Fallo de fiabilidad en los LLM: la IA prioriza los patrones sobre el significado

¿Y si la IA más inteligente del mundo es solo un loro listo, y no un verdadero pensador? Un estudio del MIT revela un fallo crítico en el que los LLM priorizan los patrones gramaticales sobre el significado real. Los investigadores descubrieron que incluso los modelos más avanzados como GPT-4 pueden ser engañados para responder preguntas sin sentido como “¿Rápidamente sentarse París nublado?” con “Francia” simplemente porque la estructura de la oración coincide con un patrón familiar. Esta vulnerabilidad también puede ser explotada por actores maliciosos, quienes pueden reformular solicitudes dañinas usando plantillas de oraciones "seguras" para eludir los filtros de seguridad de un LLM y generar contenido peligroso. Este descubrimiento pone de manifiesto un problema fundamental de fiabilidad, demostrando que los modelos pueden fallar inesperadamente en situaciones críticas para la seguridad. Para combatir esto, el equipo desarrolló una nueva herramienta de benchmarking para ayudar a los desarrolladores a probar y mitigar este fallo antes de implementar IA en campos como el servicio al cliente o el análisis médico.