El Allen Institute for AI (Ai2) ha lanzado esta semana una nueva herramienta de código abierto llamada OLMoTrace con el objetivo de desentrañar uno de los mayores misterios de la inteligencia artificial: cómo los modelos de lenguaje (LLM) generan sus respuestas. Esta herramienta permite a los usuarios rastrear las salidas de un LLM directamente hasta los datos de entrenamiento originales, abordando así una barrera clave para la adopción empresarial de la IA: la falta de transparencia.
¿Qué es OLMoTrace? Una ventana a los datos de entrenamiento de los LLM
OLMoTrace, cuyo nombre deriva de Open Language Model (OLMo), la familia de LLMs de código abierto de Ai2, ofrece una visión directa de la relación entre las salidas de un modelo y los conjuntos de datos de entrenamiento que lo formaron. A diferencia de otros enfoques que se basan en puntajes de confianza o en la generación aumentada por recuperación (RAG), OLMoTrace proporciona una conexión tangible entre la respuesta y su origen.
En la página web Ai2 Playground, los usuarios pueden probar OLMoTrace con el modelo OLMo 2 32B, recientemente lanzado. El código de código abierto también está disponible en GitHub y es de uso gratuito para cualquiera.
"Nuestro objetivo es ayudar a los usuarios a entender por qué los modelos de lenguaje generan las respuestas que generan", explicó Jiacheng Liu, investigador de Ai2, a VentureBeat.
OLMoTrace vs. RAG: Más que simples citas
Es común que los LLMs con capacidades de búsqueda web, como Perplexity o ChatGPT Search, ofrezcan citas de las fuentes utilizadas para generar una respuesta. Sin embargo, estas citas son fundamentalmente diferentes a lo que ofrece OLMoTrace.
Según Liu, herramientas como Perplexity y ChatGPT Search utilizan la generación aumentada por recuperación (RAG). Con RAG, el objetivo principal es mejorar la calidad de la generación del modelo proporcionándole más fuentes de las que se usaron durante el entrenamiento. OLMoTrace se diferencia porque rastrea la salida del modelo en sí mismo, sin depender de RAG o de fuentes externas.
La tecnología identifica secuencias de texto largas y únicas en las salidas del modelo y las relaciona con documentos específicos del corpus de entrenamiento. Cuando se encuentra una coincidencia, OLMoTrace resalta el texto relevante y proporciona enlaces al material original, permitiendo a los usuarios ver exactamente dónde y cómo el modelo aprendió la información que está utilizando.
Más allá de los puntajes de confianza: Evidencia tangible de la toma de decisiones de la IA
Los LLMs generan salidas basadas en pesos de modelo que ayudan a proporcionar un puntaje de confianza. La idea básica es que cuanto mayor sea el puntaje de confianza, más precisa será la salida. Sin embargo, Liu considera que los puntajes de confianza son inherentemente defectuosos.
"Los modelos pueden tener demasiada confianza en lo que generan y, si se les pide que generen un puntaje, generalmente está inflado", afirma Liu. "Eso es lo que los académicos llaman un error de calibración: la confianza que los modelos producen no siempre refleja la precisión real de sus respuestas".
En lugar de otro puntaje potencialmente engañoso, OLMoTrace proporciona evidencia directa de la fuente de aprendizaje del modelo, lo que permite a los usuarios formar sus propios juicios informados.
"Lo que hace OLMoTrace es mostrar las coincidencias entre las salidas del modelo y los documentos de entrenamiento", explicó Liu. "A través de la interfaz, se puede ver directamente dónde están los puntos coincidentes y cómo las salidas del modelo coinciden con los documentos de entrenamiento".
Comparación con otros enfoques de transparencia: Un enfoque en los datos
Ai2 no está solo en la búsqueda de comprender mejor cómo los LLMs generan sus salidas. Anthropic recientemente publicó su propia investigación sobre el tema. Esa investigación se centró en las operaciones internas del modelo, en lugar de comprender los datos.
"Estamos adoptando un enfoque diferente al de ellos", dijo Liu. "Estamos rastreando directamente el comportamiento del modelo, en sus datos de entrenamiento, en lugar de rastrear cosas en las neuronas del modelo, los circuitos internos, ese tipo de cosas".
Este enfoque hace que OLMoTrace sea más útil para aplicaciones empresariales, ya que no requiere un profundo conocimiento de la arquitectura de redes neuronales para interpretar los resultados.
Aplicaciones empresariales: Desde el cumplimiento regulatorio hasta la depuración de modelos
Para las empresas que implementan IA en industrias reguladas como la atención médica, las finanzas o los servicios legales, OLMoTrace ofrece ventajas significativas sobre los sistemas de caja negra existentes.
"Creemos que OLMoTrace ayudará a los usuarios empresariales y comerciales a comprender mejor lo que se utiliza en el entrenamiento de los modelos para que puedan tener más confianza cuando quieran construir sobre ellos", dijo Liu. "Esto puede ayudar a aumentar la transparencia y la confianza entre ellos y sus modelos, y también para los clientes de sus comportamientos del modelo".
La tecnología permite varias capacidades críticas para los equipos de IA empresariales:
- Verificación de hechos de las salidas del modelo con las fuentes originales.
- Comprensión de los orígenes de las alucinaciones (respuestas incorrectas o inventadas).
- Mejora de la depuración del modelo mediante la identificación de patrones problemáticos.
- Mejora del cumplimiento regulatorio a través de la trazabilidad de los datos.
- Construcción de confianza con las partes interesadas a través de una mayor transparencia.
Ai2 utiliza OLMoTrace internamente: Mejorando la calidad de los datos de entrenamiento
El equipo de Ai2 ya ha utilizado OLMoTrace para identificar y corregir problemas en sus modelos.
"Ya lo estamos utilizando para mejorar nuestros datos de entrenamiento", revela Liu. "Cuando construimos OLMo 2 y comenzamos nuestro entrenamiento, a través de OLMoTrace, descubrimos que en realidad algunos de los datos posteriores al entrenamiento no eran buenos".
Implicaciones para la adopción empresarial de la IA: Un paso hacia la responsabilidad
Para las empresas que buscan liderar el camino en la adopción de la IA, OLMoTrace representa un paso significativo hacia sistemas de IA empresariales más responsables. La tecnología está disponible bajo una licencia de código abierto Apache 2.0, lo que significa que cualquier organización con acceso a los datos de entrenamiento de su modelo puede implementar capacidades de rastreo similares.
"OLMoTrace puede funcionar en cualquier modelo, siempre y cuando se tengan los datos de entrenamiento del modelo", señala Liu. "Para los modelos totalmente abiertos donde todos tienen acceso a los datos de entrenamiento del modelo, cualquiera puede configurar OLMoTrace para ese modelo y para los modelos propietarios, tal vez algunos proveedores no quieran divulgar sus datos, también pueden hacer este OLMoTrace internamente".
A medida que los marcos de gobernanza de la IA continúan evolucionando a nivel mundial, herramientas como OLMoTrace que permiten la verificación y la auditabilidad probablemente se convertirán en componentes esenciales de las pilas de IA empresariales, particularmente en industrias reguladas donde la transparencia algorítmica es cada vez más obligatoria.
Para los responsables de la toma de decisiones técnicas que sopesan los beneficios y los riesgos de la adopción de la IA, OLMoTrace ofrece un camino práctico para implementar sistemas de IA más confiables y explicables sin sacrificar el poder de los grandes modelos de lenguaje. El Allen Institute for AI, con esta herramienta, busca promover un ecosistema de IA más transparente y responsable, facilitando la comprensión y el control sobre la forma en que los modelos de lenguaje toman sus decisiones.
