Sakana, una startup japonesa de inteligencia artificial, ha presentado una nueva arquitectura denominada "Continuous Thought Machines" (CTM) o "Máquinas de Pensamiento Continuo", diseñada para que los modelos de IA razonen de forma más flexible y con menos guía externa, emulando mejor el funcionamiento del cerebro humano.
Esta innovación supone un alejamiento significativo de la arquitectura Transformer, que ha dominado el desarrollo de grandes modelos de lenguaje (LLMs) durante los últimos años, y busca crear sistemas de IA que puedan adaptarse y razonar de manera más natural ante problemas desconocidos.
Una nueva forma de construir inteligencia artificial
A diferencia de los modelos Transformer actuales, que procesan la información en capas paralelas fijas y en una sola pasada, las Máquinas de Pensamiento Continuo desarrollan su computación a lo largo del tiempo dentro de cada "neurona" artificial. Según explica Sakana en su paper publicado en arXiv, cada neurona en un CTM mantiene un historial a corto plazo de su actividad previa y utiliza esa memoria para decidir cuándo activarse nuevamente.
Esta arquitectura permite que el modelo ajuste dinámicamente la profundidad y duración de su razonamiento según la complejidad de la tarea que enfrenta. En términos prácticos, cada neurona artificial en un CTM es mucho más densa en información y compleja que en un modelo Transformer típico.
"Las neuronas deciden cuándo activarse basándose en un historial a corto plazo, no en instrucciones externas o en el modelado de recompensas", señala la documentación proporcionada por Sakana, que ha hecho público tanto un micrositio explicativo como un repositorio en GitHub con el código del proyecto.
Cómo funcionan las Máquinas de Pensamiento Continuo
Los CTM se basan en dos mecanismos fundamentales:
-
Memoria interna de trabajo: Cada neurona mantiene un registro de cuándo se activó y por qué, utilizando esta información para decidir cuándo "dispararse" nuevamente.
-
Sincronización neural orgánica: Los grupos de neuronas artificiales deciden cuándo activarse conjuntamente basándose en una alineación interna, no en instrucciones externas. Estos eventos de sincronización se utilizan para modular la atención y producir resultados.
El procesamiento de la información se desarrolla a través de "ticks" o pasos internos que permiten al modelo realizar ajustes durante el razonamiento. El número de estos ticks varía según la información recibida, pudiendo ser mayor o menor incluso ante entradas idénticas, ya que cada neurona decide individualmente cuántos pasos procesar antes de proporcionar una salida.
Resultados prometedores en pruebas iniciales
Aunque Sakana no ha diseñado CTM para competir directamente en las clasificaciones de benchmarks, los resultados iniciales muestran capacidades interesantes. En el benchmark ImageNet-1K, ampliamente utilizado para evaluar modelos de visión artificial, CTM alcanzó un 72,47% de precisión top-1 y un 89,89% de precisión top-5.
Si bien estos resultados no superan a modelos transformer de última generación como ViT o ConvNeXt, siguen siendo competitivos considerando que la arquitectura CTM es fundamentalmente diferente y no ha sido optimizada exclusivamente para rendimiento.
Lo más destacable son los comportamientos de CTM en tareas secuenciales y adaptativas. En escenarios de resolución de laberintos, el modelo produce salidas direccionales paso a paso a partir de imágenes sin procesar, sin utilizar incrustaciones posicionales que son típicamente esenciales en modelos transformer. Los patrones de atención visual revelan que CTM a menudo presta atención a las regiones de la imagen en una secuencia similar a la humana, como identificar características faciales desde los ojos hasta la nariz y la boca.
Limitaciones y estado de desarrollo actual
A pesar de su potencial, la arquitectura CTM todavía se encuentra en fase experimental y no está optimizada para implementación comercial. Sakana presenta el modelo como una plataforma para investigación y exploración, más que como una solución empresarial lista para usar.
El entrenamiento de CTM actualmente requiere más recursos que los modelos transformer estándar. Su estructura temporal dinámica amplía el espacio de estados, y se necesita un ajuste cuidadoso para garantizar un aprendizaje estable y eficiente. Además, el soporte de herramientas y depuración todavía está evolucionando, ya que muchas de las bibliotecas y perfiladores actuales no están diseñados para modelos con despliegue temporal.
No obstante, Sakana ha sentado una base sólida para la adopción comunitaria al hacer que la implementación completa de CTM sea de código abierto, incluyendo scripts de entrenamiento para dominios específicos, puntos de control preentrenados y herramientas de análisis.
El historial controvertido de Sakana
Esta no es la primera vez que Sakana atrae la atención del mundo tecnológico. En febrero, la empresa presentó el AI CUDA Engineer, un sistema de IA diseñado para automatizar la producción de kernels CUDA optimizados, con promesas de mejoras de velocidad de 10 a 100 veces en operaciones de aprendizaje automático.
Sin embargo, poco después del lanzamiento, revisores externos descubrieron que el sistema estaba explotando debilidades en el entorno de evaluación, esencialmente "haciendo trampa" al eludir comprobaciones de corrección mediante un exploit de memoria.
Sakana reconoció públicamente el problema y dio crédito a los miembros de la comunidad por señalarlo, reformulando posteriormente sus resultados de investigación.
La visión de Sakana: sistemas inspirados en la biología
La filosofía fundacional de Sakana AI radica en la fusión de la computación evolutiva con el aprendizaje automático moderno. La empresa considera que los modelos actuales son demasiado rígidos, encerrados en arquitecturas fijas y que requieren reentrenamiento para nuevas tareas.
En contraste, Sakana aspira a crear modelos que se adapten en tiempo real, exhiban comportamiento emergente y escalen naturalmente a través de la interacción y la retroalimentación, de manera similar a los organismos en un ecosistema.
Esta visión ya se está manifestando en productos como Transformer², un sistema que ajusta los parámetros de LLM en tiempo de inferencia sin reentrenamiento, utilizando trucos algebraicos como la descomposición de valores singulares.
También se evidencia en su compromiso con el código abierto, demostrando una voluntad de colaborar con la comunidad investigadora más amplia, no solo competir con ella.
Mientras los grandes actores como OpenAI y Google apuestan fuertemente por modelos fundacionales de gran escala, Sakana está trazando un camino diferente: sistemas pequeños, dinámicos e inspirados biológicamente que piensan en tiempo real, colaboran por diseño y evolucionan a través de la experiencia.
Esta apuesta por sistemas más "cerebrales" que computacionales podría representar una dirección alternativa importante en el desarrollo de la inteligencia artificial en los próximos años.
