Un grupo de expertos co-liderado por la pionera en inteligencia artificial Fei-Fei Li ha publicado un informe que sugiere que los legisladores deben considerar los riesgos de la IA que "aún no se han observado en el mundo" al elaborar políticas reguladoras. El documento de 41 páginas, publicado el martes, propone un enfoque proactivo para la regulación de la IA, comparando la necesidad de anticipar riesgos con la predicción de daños de armas nucleares antes de ver sus efectos.
El grupo de trabajo y su contexto político
El informe preliminar proviene del Grupo de Trabajo Conjunto de Políticas de California sobre Modelos Frontera de IA, una iniciativa organizada por el gobernador Gavin Newsom tras su veto al controvertido proyecto de ley de seguridad de IA de California, SB 1047. Aunque Newsom consideró que el SB 1047 no daba en el blanco, reconoció la necesidad de una evaluación más amplia de los riesgos de la IA para orientar a los legisladores.
Además de Fei-Fei Li, el documento está co-escrito por Jennifer Chayes, decana del UC Berkeley College of Computing, y Mariano-Florentino Cuéllar, presidente de Carnegie Endowment for International Peace. Antes de su publicación, el informe fue revisado por partes interesadas de todo el espectro ideológico, incluyendo a defensores firmes de la seguridad de la IA como Yoshua Bengio, ganador del Premio Turing, y críticos del SB 1047 como Ion Stoica, cofundador de Databricks.
Transparencia y verificación: las claves de las recomendaciones
Según el informe, los riesgos novedosos que plantean los sistemas de IA pueden requerir leyes que obliguen a los desarrolladores de modelos de IA a informar públicamente sobre:
- Sus pruebas de seguridad
- Prácticas de adquisición de datos
- Medidas de seguridad
El documento también aboga por mayores estándares para las evaluaciones de terceros de estas métricas y políticas corporativas, además de protecciones ampliadas para denunciantes de empleados y contratistas de empresas de IA.
Anticipando los peligros antes de que ocurran
Los autores señalan que existe un "nivel de evidencia no concluyente" sobre el potencial de la IA para ayudar a realizar ciberataques, crear armas biológicas u otras amenazas "extremas". Sin embargo, argumentan que la política de IA no solo debe abordar los riesgos actuales, sino también anticipar consecuencias futuras que podrían ocurrir sin salvaguardias suficientes.
"Por ejemplo, no necesitamos observar un arma nuclear [explotando] para predecir de manera confiable que podría y causaría un daño extenso", señala el informe. "Si aquellos que especulan sobre los riesgos más extremos tienen razón —y no estamos seguros de si lo tendrán— entonces las apuestas y los costos por la inacción sobre la IA fronteriza en este momento actual son extremadamente altos".
El informe recomienda una estrategia de dos vías para impulsar la transparencia en el desarrollo de modelos de IA: confiar pero verificar. Según el documento, los desarrolladores de modelos de IA y sus empleados deberían tener vías para informar sobre áreas de preocupación pública, como las pruebas de seguridad internas, mientras que también deberían estar obligados a someter sus afirmaciones de prueba a verificación por terceros.
Recepción positiva y próximos pasos
Aunque el informe, cuya versión final está prevista para junio de 2025, no respalda ninguna legislación específica, ha sido bien recibido por expertos de ambos lados del debate sobre la política de IA.
Dean Ball, investigador especializado en IA de la Universidad George Mason que fue crítico con SB 1047, afirmó en una publicación en X que el informe era un paso prometedor para la regulación de la seguridad de IA en California. También representa un triunfo para los defensores de la seguridad de la IA, según el senador estatal de California Scott Wiener, quien introdujo SB 1047 el año pasado. Wiener declaró en un comunicado de prensa que el informe se basa en "conversaciones urgentes sobre la gobernanza de la IA que comenzamos en la legislatura [en 2024]".
El informe parece alinearse con varios componentes de SB 1047 y el proyecto de ley de seguimiento de Wiener, SB 53, como exigir que los desarrolladores de modelos de IA informen los resultados de las pruebas de seguridad.
Implicaciones para la regulación de la IA
Desde una perspectiva más amplia, este documento representa un avance importante para quienes abogan por una mayor seguridad en la IA, cuya agenda ha perdido terreno en el último año. La aproximación equilibrada del informe, que busca consenso entre diferentes posturas, podría sentar las bases para nuevas regulaciones que promuevan tanto la innovación como la seguridad.
El enfoque proactivo propuesto por Li y sus colegas destaca la necesidad de establecer marcos regulatorios que puedan evolucionar junto con la tecnología, en lugar de reaccionar después de que los problemas hayan surgido.
Si bien son necesarias más discusiones y análisis antes de implementar regulaciones concretas, este informe marca un paso significativo hacia un enfoque más maduro y reflexivo sobre cómo manejar los desafíos futuros de la inteligencia artificial, especialmente en California, donde se concentran muchas de las empresas líderes en el desarrollo de esta tecnología.
