Una investigación ha revelado cómo vídeos generados por inteligencia artificial, que contienen estereotipos y tropos racistas, están acumulando millones de visualizaciones en TikTok. Los hallazgos, publicados por la organización de vigilancia de medios Media Matters, apuntan a que la herramienta Veo 3 de Google podría ser la tecnología detrás de esta nueva ola de contenido de odio, lo que plantea serias dudas sobre los controles de seguridad de las nuevas herramientas de IA y la capacidad de las redes sociales para moderar su viralización.
El hallazgo que destapó el problema
Todo comenzó con un informe del organismo de control Media Matters, que identificó una preocupante tendencia en TikTok: la proliferación de vídeos cortos y virales cargados de contenido ofensivo. Según la investigación, estos clips emplean tropos racistas explícitos, muchos de ellos dirigidos contra la comunidad negra, pero también incluyen contenido antisemita y representaciones despectivas de inmigrantes y personas de origen asiático.
La escala del problema es alarmante. El informe destaca que estos vídeos no son un fenómeno marginal, sino que están alcanzando una audiencia masiva. Uno de los clips analizados por Media Matters, por ejemplo, llegó a registrar 14.2 millones de visualizaciones antes de que se tomaran medidas. Este nivel de viralidad demuestra la facilidad con la que el contenido dañino puede propagarse en plataformas diseñadas para maximizar el alcance y la interacción del usuario, superando a menudo los filtros de moderación existentes.
¿Cómo se vinculan los vídeos con la IA de Google?
Media Matters ha reunido varias pruebas que sugieren una fuerte conexión entre estos vídeos virales y Veo 3, una de las más recientes y potentes herramientas de inteligencia artificial de Google. Veo 3, lanzada en mayo, es un modelo de «texto a vídeo», lo que significa que puede generar clips de vídeo de alta definición a partir de simples descripciones de texto.
La principal evidencia es una marca de agua visible en la esquina de muchos de los vídeos, que muestra la palabra «Veo». Además, los investigadores observaron que algunos usuarios que publicaban estos clips incluían en sus descripciones, hashtags o incluso en sus nombres de usuario, términos como «Veo 3» o «AI», vinculando explícitamente su contenido con la herramienta de Google.
Otro detalle técnico refuerza esta hipótesis: la duración de los vídeos. Cada clip encontrado por la organización duraba exactamente ocho segundos, o estaba compuesto por una sucesión de fragmentos de no más de ocho segundos. Esta duración coincide con el límite actual de generación de vídeo que tiene el modelo Veo 3 de Google, lo que proporciona una pista técnica adicional sobre su origen.
La postura y respuesta de las plataformas tecnológicas
Este incidente pone de manifiesto la creciente brecha entre las políticas de seguridad declaradas por las grandes empresas tecnológicas y la realidad de cómo se utilizan sus productos. Por un lado, Google afirma en su página web oficial de Veo que la herramienta está diseñada para «bloquear solicitudes y resultados dañinos», una salvaguarda que, a la luz de estos hechos, parece haber sido eludida con facilidad. Al momento de la publicación del artículo original de The Verge, Google no había respondido a una solicitud de comentarios sobre el asunto.
Por su parte, TikTok, la plataforma donde el contenido se hizo viral, también cuenta con reglas estrictas que prohíben explícitamente «el discurso de odio y el comportamiento de odio». En una declaración enviada a The Verge, una portavoz de la compañía, Ariane de Selliers, abordó la situación: «Aplicamos de forma proactiva normas sólidas contra el discurso y el comportamiento de odio y hemos eliminado las cuentas que identificamos en el informe, muchas de las cuales ya habían sido prohibidas antes de la publicación del mismo».
Aunque la respuesta de TikTok es un paso en la dirección correcta, el hecho de que estos vídeos lograran viralizarse masivamente antes de ser detectados subraya el inmenso desafío que enfrenta la moderación de contenidos en la era de la IA generativa. La velocidad y el volumen con que se puede crear y difundir este tipo de material superan con creces las capacidades de muchos sistemas de moderación, tanto automáticos como humanos.
Un desafío que trasciende a TikTok
Si bien TikTok ha sido el epicentro de esta controversia, el problema no se limita a una sola plataforma. El propio medio The Verge pudo encontrar algunos de los vídeos racistas alojados también en YouTube, aunque con un número de visualizaciones significativamente menor.
Además, otra investigación paralela realizada por la revista Wired también descubrió vídeos racistas similares generados por IA en Instagram, lo que confirma que se trata de un problema ecosistémico. Los creadores de contenido malicioso están explotando las herramientas de IA disponibles y distribuyendo sus creaciones a través de múltiples redes sociales, buscando las plataformas con la moderación más laxa o los algoritmos más propensos a la viralización.
Este fenómeno representa un nuevo y complejo frente en la lucha contra el odio en línea. A medida que las herramientas de IA se vuelven más accesibles y sofisticadas, la capacidad de generar contenido falso, difamatorio o de odio a gran escala aumenta exponencialmente, poniendo a prueba los cimientos de la seguridad y la confianza en el ecosistema digital. La responsabilidad recae tanto en las empresas que desarrollan estas potentes tecnologías, como Google, como en las plataformas que las alojan, como TikTok, para desarrollar mecanismos de control más robustos y eficaces.
