Documentos judiciales recientemente revelados muestran la intensa obsesión de los ejecutivos de Meta por superar a GPT-4 de OpenAI durante el desarrollo de su modelo de lenguaje Llama 3. Los mensajes internos, destapados por un tribunal en el caso Kadrey v. Meta, revelan la agresiva estrategia de la compañía en su carrera por dominar el campo de la inteligencia artificial.
La carrera por dominar la IA
"Honestamente… Nuestro objetivo debe ser GPT-4", declaró Ahmad Al-Dahle, vicepresidente de IA Generativa de Meta, en un mensaje de octubre de 2023 dirigido al investigador Hugo Touvron. "Tenemos 64.000 GPUs en camino. Necesitamos aprender cómo construir tecnología de frontera y ganar esta carrera", añadió el ejecutivo.
Los mensajes internos demuestran que, aunque Meta se presenta públicamente como líder en IA abierta, sus ejecutivos estaban más centrados en competir con empresas que mantienen sus modelos cerrados, como Anthropic y OpenAI, considerándolos como el estándar a batir.
Desestimando a la competencia europea
La startup francesa Mistral, uno de los principales competidores de Meta en el campo de la IA abierta, fue mencionada varias veces en las conversaciones internas, pero siempre con un tono despectivo. "Mistral no es nada para nosotros", afirmó Al-Dahle en uno de los mensajes, añadiendo posteriormente que "deberíamos poder hacerlo mejor".
Controversias sobre datos de entrenamiento
Los documentos también revelan que los ejecutivos de Meta pudieron haber tomado atajos en su afán por desarrollar modelos de IA más avanzados. Los fiscales alegan que la empresa entrenó sus modelos utilizando libros con derechos de autor.
En las conversaciones reveladas, Touvron señaló que la mezcla de conjuntos de datos utilizada para Llama 2 "era mala" y discutió con Al-Dahle sobre el uso del conjunto de datos LibGen, que contiene obras con derechos de autor de importantes editoriales como Cengage Learning, Macmillan Learning, McGraw Hill y Pearson Education.
El objetivo final: Llama 3
Mark Zuckerberg ha sido explícito sobre sus intenciones de cerrar la brecha entre los modelos Llama y los modelos cerrados de competidores como OpenAI y Google. En una carta publicada en julio de 2024, el CEO de Meta declaró: "Este año, Llama 3 es competitivo con los modelos más avanzados y líder en algunas áreas. A partir del próximo año, esperamos que los futuros modelos Llama se conviertan en los más avanzados de la industria".
Cuando Meta finalmente lanzó Llama 3 en abril de 2024, el modelo de IA abierta demostró ser competitivo con los principales modelos cerrados de Google, OpenAI y Anthropic, superando a las opciones abiertas de Mistral. Sin embargo, los datos utilizados para entrenar estos modelos, que según los informes fueron aprobados por el propio Zuckerberg a pesar de sus problemas de derechos de autor, están siendo actualmente investigados en varios litigios en curso.
La revelación de estos documentos internos proporciona una visión sin precedentes de la intensa competencia en el sector de la IA y las presiones que enfrentan las empresas tecnológicas en su carrera por dominar esta tecnología emergente. También plantea importantes preguntas sobre los métodos utilizados para alcanzar estos objetivos y las implicaciones éticas y legales de las decisiones tomadas en el proceso.
