La empresa líder en inteligencia artificial OpenAI ha actualizado su Marco de Preparación (Preparedness Framework), el sistema interno que utiliza para evaluar la seguridad de sus modelos de IA y determinar las salvaguardas necesarias durante el desarrollo y despliegue. En un cambio significativo, la compañía ha indicado que podría "ajustar" sus requisitos de seguridad si un laboratorio de IA competidor lanza un sistema de "alto riesgo" sin protecciones similares.
La nueva postura de OpenAI frente a la competencia
"Si otro desarrollador de IA de vanguardia lanza un sistema de alto riesgo sin salvaguardas comparables, podríamos ajustar nuestros requisitos", escribió OpenAI en una publicación de blog el martes por la tarde. Sin embargo, la empresa sostiene que no tomaría estas decisiones a la ligera: "Primero confirmaríamos rigurosamente que el panorama de riesgo ha cambiado realmente, reconoceríamos públicamente que estamos haciendo un ajuste, evaluaríamos que el ajuste no aumenta significativamente el riesgo general de daño severo, y aun así mantendríamos las salvaguardas en un nivel más protector".
Esta actualización refleja las crecientes presiones competitivas sobre los desarrolladores comerciales de IA para desplegar modelos rápidamente. La modificación es la primera que OpenAI realiza en su Marco de Preparación desde 2023, y llega en un momento en que la carrera por desarrollar sistemas de IA cada vez más potentes se intensifica entre las principales empresas tecnológicas.
Críticas y preocupaciones sobre seguridad
El cambio de política se produce en medio de un escrutinio cada vez mayor sobre el enfoque de OpenAI hacia la seguridad. La empresa ha sido acusada de reducir los estándares de seguridad en favor de lanzamientos más rápidos, y de no entregar informes oportunos que detallen sus pruebas de seguridad.
La semana pasada, 12 ex empleados de OpenAI presentaron un escrito en el caso de Elon Musk contra la empresa, argumentando que OpenAI sería alentada a recortar aún más en seguridad si completa su planificada reestructuración corporativa.
Estas preocupaciones parecen tener fundamento según algunos informes externos. De acuerdo con el Financial Times, OpenAI dio a los evaluadores menos de una semana para las comprobaciones de seguridad de un próximo modelo importante —un periodo comprimido en comparación con lanzamientos anteriores. Las fuentes de la publicación también alegaron que muchas de las pruebas de seguridad de OpenAI ahora se realizan en versiones anteriores de los modelos, no en las versiones que se lanzan al público.
En Twitter (ahora X), el usuario Steven Adler señaló que OpenAI "está reduciendo silenciosamente sus compromisos de seguridad" y que ha omitido mencionar en su lista de cambios que ya "no requiere pruebas de seguridad de modelos ajustados".
OpenAI ha disputado estas afirmaciones, negando en declaraciones públicas que esté comprometiendo la seguridad.
Mayor automatización en las evaluaciones
El Marco de Preparación actualizado también revela que OpenAI está confiando más en evaluaciones automatizadas para acelerar el desarrollo de productos. La empresa afirma que, si bien no ha abandonado por completo las pruebas dirigidas por humanos, ha construido "un conjunto creciente de evaluaciones automatizadas" que supuestamente pueden "mantener el ritmo de un calendario más rápido [de lanzamientos]".
Esta transición hacia una automatización mayor plantea interrogantes sobre la rigurosidad de las evaluaciones de seguridad. Aunque las herramientas automatizadas pueden procesar grandes cantidades de datos rápidamente, los críticos argumentan que podrían no detectar ciertos problemas sutiles o emergentes que los evaluadores humanos podrían identificar.
Nueva categorización de modelos según el riesgo
Otros cambios en el marco de OpenAI se refieren a cómo la empresa categoriza los modelos según el riesgo, incluyendo modelos que pueden ocultar sus capacidades, evadir salvaguardas, evitar su cierre e incluso autorreplicarse. OpenAI indica que ahora se centrará en si los modelos cumplen con uno de dos umbrales: capacidad "alta" o capacidad "crítica".
La definición de OpenAI del primer umbral es un modelo que podría "amplificar las vías existentes hacia el daño severo". Los del segundo umbral son modelos que "introducen nuevas vías sin precedentes hacia el daño severo", según la empresa.
"Los sistemas cubiertos que alcanzan una alta capacidad deben tener salvaguardas que minimicen suficientemente el riesgo asociado de daño severo antes de que se implementen", escribió OpenAI en su publicación de blog. "Los sistemas que alcanzan una capacidad crítica también requieren salvaguardas que minimicen suficientemente los riesgos asociados durante el desarrollo".
Equilibrando innovación y seguridad
La actualización del Marco de Preparación de OpenAI ilustra el difícil equilibrio que los desarrolladores de IA de vanguardia están intentando mantener entre avanzar rápidamente en capacidades tecnológicas y garantizar que estos sistemas sean seguros.
La disposición declarada de OpenAI para considerar ajustar sus requisitos de seguridad en respuesta a las acciones de los competidores sugiere una dinámica preocupante en la industria de la IA, donde la presión competitiva podría potencialmente llevar a una carrera a la baja en estándares de seguridad.
Al mismo tiempo, la empresa insiste en que cualquier ajuste mantendría las salvaguardas en "un nivel más protector" y que tales cambios se harían con transparencia pública. Sin embargo, la creciente dependencia de evaluaciones automatizadas y los informes de tiempos reducidos para pruebas de seguridad plantean dudas sobre si la empresa podrá cumplir con estas promesas.
A medida que los modelos de IA se vuelven más potentes y se integran más profundamente en nuestra sociedad, el enfoque de OpenAI para equilibrar innovación, competitividad y seguridad probablemente seguirá siendo un tema de intenso debate y escrutinio.
