Un nuevo estudio académico desafía una de las creencias fundamentales en el desarrollo de inteligencia artificial: que entrenar modelos de lenguaje con más datos siempre produce mejores resultados. La investigación revela que el exceso de entrenamiento puede, paradójicamente, dificultar la adaptación posterior de estos sistemas y degradar su rendimiento.
El descubrimiento que desafía una creencia fundamental
Investigadores de prestigiosas instituciones como Carnegie Mellon, Stanford, Harvard y Princeton han introducido el concepto de "sobreentrenamiento catastrófico" en un estudio titulado "Overtrained Language Models Are Harder to Fine-Tune", disponible en arXiv y liderado por Jacob Mitchell Springer.
La investigación cuestiona la práctica común en el desarrollo de modelos de lenguaje grande (LLMs, por sus siglas en inglés), esos sistemas de inteligencia artificial capaces de entender y generar texto similar al humano. Hasta ahora, se asumía que alimentar estos modelos con cantidades cada vez mayores de datos durante su fase inicial de entrenamiento mejoraría invariablemente su rendimiento.
"El estudio muestra que el entrenamiento prolongado puede realmente hacer que los modelos de lenguaje sean más difíciles de ajustar, degradando en última instancia su rendimiento", señala el equipo investigador, según informa VentureBeat.
La ley de los rendimientos decrecientes en el entrenamiento de IA
El equipo de investigación realizó una serie de evaluaciones empíricas y análisis teóricos para examinar el efecto del entrenamiento prolongado en la adaptabilidad de los modelos. Uno de los hallazgos clave se centra en el modelo OLMo-1B de AI2, de código abierto.
Los investigadores compararon dos versiones de este modelo: una entrenada con 2,3 billones de tokens (representaciones numéricas de conceptos e ideas) y otra con 3 billones. A pesar de que la segunda versión fue entrenada con un 30% más de datos, su rendimiento fue peor después del ajuste para tareas específicas. Concretamente, el modelo con 3 billones de tokens mostró un rendimiento más de 2% inferior en varias pruebas estándar de evaluación de modelos de lenguaje, llegando la degradación hasta el 3% en algunos casos.
Este fenómeno no es una anomalía, sino una tendencia consistente que los investigadores han denominado "sobreentrenamiento catastrófico".
Sensibilidad progresiva y olvido: entendiendo el problema
El estudio atribuye esta degradación a un aumento sistemático en lo que los investigadores llaman "sensibilidad progresiva". A medida que los modelos son sometidos a un entrenamiento prolongado, sus parámetros se vuelven más sensibles a los cambios.
Esta fragilidad aumentada los hace más vulnerables a la degradación durante modificaciones posteriores, como el ajuste fino para tareas de instrucción, el entrenamiento para tareas multimodales o incluso simples perturbaciones en sus pesos.
Los investigadores proporcionan evidencia de que, más allá de cierto punto en el pre-entrenamiento, cualquier modificación —ya sea estructurada como un ajuste fino o no estructurada como añadir ruido gaussiano— conduce a una mayor pérdida de capacidades previamente aprendidas. Esta sensibilidad resulta en un "olvido", donde las fortalezas originales del modelo se deterioran a medida que se introducen nuevos datos de entrenamiento.
El estudio identifica un "punto de inflexión" en el pre-entrenamiento, después del cual el entrenamiento adicional conduce a rendimientos decrecientes e incluso negativos en cuanto a los resultados del ajuste fino. Para el modelo OLMo-1B, este umbral surgió alrededor de los 2,5 billones de tokens.
Evidencia experimental y hallazgos clave
El análisis del equipo abarca entornos experimentales tanto del mundo real como controlados. Probaron el fenómeno en diferentes tareas, incluyendo ajuste de instrucciones utilizando conjuntos de datos como Anthropic-HH y TULU, y ajuste fino multimodal utilizando el marco LLaVA.
Los resultados mostraron consistentemente que los modelos pre-entrenados más allá de ciertos presupuestos de tokens tenían un peor rendimiento después del ajuste fino.
Además, los investigadores construyeron un modelo teórico utilizando redes lineales para comprender mejor por qué el sobreentrenamiento conduce a una mayor sensibilidad. Su análisis confirmó que la sensibilidad progresiva y el sobreentrenamiento catastrófico son matemáticamente inevitables cuando el pre-entrenamiento continúa indefinidamente sin restricciones adecuadas.
Implicaciones para el desarrollo futuro de IA
Los hallazgos desafían la suposición generalizada de que más datos de pre-entrenamiento siempre son mejores. En cambio, el estudio sugiere un equilibrio más matizado: mientras que un pre-entrenamiento más largo mejora las capacidades del modelo base, también aumenta el riesgo de que el ajuste fino degrade esas capacidades.
En la práctica, los intentos de mitigar este efecto —como ajustar las tasas de aprendizaje del ajuste fino o añadir regularización— pueden retrasar la aparición del sobreentrenamiento catastrófico, pero no pueden eliminarlo por completo sin sacrificar el rendimiento posterior.
Para las empresas que buscan aprovechar los LLMs para mejorar los flujos de trabajo y resultados comerciales, una lección clave de esta investigación indica que ajustar modelos de parámetros más bajos entrenados con menos material probablemente resulte en un modelo de producción más confiable.
"El estudio tiene un impacto significativo en cómo las organizaciones y los investigadores diseñan y entrenan grandes modelos de lenguaje", indican los autores del estudio. "A medida que el campo continúa persiguiendo modelos más grandes y capaces, esta investigación destaca la importancia de equilibrar la duración del pre-entrenamiento con la adaptabilidad posterior".
Además, los hallazgos pueden influir en cómo los desarrolladores de modelos piensan acerca de la asignación de recursos. En lugar de centrarse exclusivamente en aumentar los presupuestos de pre-entrenamiento, los desarrolladores pueden necesitar reevaluar las estrategias para optimizar el rendimiento posterior sin incurrir en los efectos negativos del sobreentrenamiento catastrófico.
Los autores reconocen que se necesita más investigación para comprender los factores que influyen en cuándo y cómo ocurre el sobreentrenamiento catastrófico. Las preguntas abiertas incluyen si el optimizador de pre-entrenamiento, el objetivo de entrenamiento o la distribución de datos pueden afectar la gravedad del fenómeno.
Este estudio marca un punto de inflexión en nuestra comprensión del desarrollo de modelos de lenguaje avanzados, sugiriendo que en la inteligencia artificial, como en muchos otros campos, "más" no siempre significa "mejor".
