La firma de inteligencia artificial Anthropic ha hecho un importante avance en la comprensión de los modelos de lenguaje, revelando procesos internos inesperados. A través de una técnica llamada trazado de circuitos, los investigadores pueden observar las decisiones que toma el modelo Claude 3.5 al generar respuestas. Este enfoque ha sacado a la luz que los modelos de lenguaje son aún más extraños de lo que se pensaba, mostrando habilidades sorprendentes y estrategias inusuales para resolver tareas simples como problemas matemáticos o la creación de poesía.
Uno de los hallazgos más intrigantes es cómo Claude utiliza componentes independientes de un idioma para generar respuestas. Al solucionar problemas de matemáticas, el modelo demuestra tener sus propias estrategias internas. Sin embargo, ofrece explicaciones que no reflejan su verdadero proceso, lo que plantea preguntas sobre la confiabilidad de sus respuestas. Además, cuando se le pidió escribir poesía, Claude reveló la capacidad de planificar sus rimas, desafiando la noción de que seleccionaba palabras de forma secuencial.
Aunque Anthropic ha logrado desentrañar algunos de los misterios detrás de los modelos de lenguaje, aún queda mucho por descubrir. Las limitaciones en la comprensión de cómo y por qué estas estructuras se forman durante el entrenamiento continúan siendo un desafío. Sin embargo, los investigadores son optimistas, ya que estos nuevos métodos podrían abrir la puerta a una era en la que entender el funcionamiento interno de estos modelos de manera tangible será posible, cambiando nuestra concepción de lo que realmente puede hacer la inteligencia artificial.
