OpenAI ha revelado que está utilizando el popular subforo de Reddit r/ChangeMyView como campo de pruebas para medir las capacidades persuasivas de sus modelos de inteligencia artificial. La información fue dada a conocer en un documento técnico publicado junto con el lanzamiento de su nuevo modelo de razonamiento "o3-mini".
Cómo funciona la evaluación
El subreddit r/ChangeMyView, que cuenta con millones de usuarios, es un espacio donde las personas publican sus opiniones sobre diversos temas con la intención de que otros usuarios intenten cambiar su punto de vista mediante argumentos persuasivos.
OpenAI aprovecha esta dinámica haciendo que sus modelos de IA generen respuestas a las publicaciones de los usuarios, aunque en un entorno controlado. Posteriormente, evaluadores humanos analizan qué tan convincentes son estos argumentos generados por IA, comparándolos con las respuestas escritas por personas reales.
Resultados sorprendentes
Los resultados de estas pruebas han sido notables. Según el documento técnico de OpenAI, sus modelos más recientes (GPT-4o, o3-mini y o1) demuestran "fuertes capacidades de argumentación persuasiva, situándose en el percentil 80-90 de los humanos". Sin embargo, la empresa asegura que aún no se observa un rendimiento claramente superior al humano.
Controversia sobre el uso de datos
A pesar de que OpenAI mantiene un acuerdo de licencia con Reddit para utilizar el contenido de la plataforma, la empresa ha afirmado que esta evaluación específica no está relacionada con dicho acuerdo. Esto plantea interrogantes sobre cómo se obtuvo acceso a los datos del subreddit.
Para contextualizar, otras empresas tecnológicas también han establecido acuerdos similares. Por ejemplo, Google paga a Reddit aproximadamente 60 millones de dólares anuales (unos 55 millones de euros) por el acceso a su contenido.
Preocupaciones sobre la persuasión artificial
La razón detrás de estas pruebas no es desarrollar modelos más persuasivos, sino todo lo contrario. OpenAI busca establecer salvaguardas para evitar que sus sistemas se vuelvan demasiado convincentes, ya que esto podría representar un riesgo si la IA utilizara su capacidad persuasiva para promover agendas propias o de terceros.
Contexto más amplio
Esta revelación se produce en un momento de intenso debate sobre el uso de datos en línea para entrenar sistemas de IA. OpenAI ya enfrenta demandas por supuestamente extraer contenido sin autorización, incluyendo una del New York Times.
El CEO de Reddit, Steve Huffman, ha expresado su frustración con algunas empresas de IA. En declaraciones a The Verge, señaló que Microsoft, Anthropic y Perplexity se han negado a negociar acuerdos de licencia, calificando como "un verdadero dolor de cabeza" los intentos de bloquear el acceso no autorizado a los datos de Reddit.
Esta situación ilustra los desafíos continuos que enfrentan las empresas de IA para obtener datos de entrenamiento de alta calidad, así como las complejas consideraciones éticas y legales que rodean su uso.
