Together AI lanza Open Deep Research: un sistema de IA que revoluciona la búsqueda de información compleja

Droids

Updated on:

Together AI lanza Open Deep Research: un sistema de IA que revoluciona la búsqueda de información compleja

La empresa Together AI ha presentado su nueva herramienta Open Deep Research, un sistema de inteligencia artificial de código abierto diseñado para transformar radicalmente la forma en que buscamos y procesamos información compleja en internet. Este flujo de trabajo basado en modelos de lenguaje grandes (LLM) promete ir más allá de la simple búsqueda web, ofreciendo respuestas exhaustivas y bien documentadas a preguntas complejas que requieren razonamiento en múltiples pasos.

Qué es Open Deep Research y cómo funciona

Deep Research representa un cambio fundamental en nuestra interacción con la información digital. Mientras que las búsquedas tradicionales se limitan a devolver una lista de documentos potencialmente relevantes que el usuario debe leer y sintetizar manualmente, Open Deep Research adopta un enfoque completamente diferente.

«Este flujo de trabajo intenta imitar lo que hacen los humanos cuando necesitan realizar un proceso de investigación», explican los desarrolladores en su blog. «Piensa en tu experiencia al abordar preguntas complejas o comparar opciones, como evaluar oportunidades de inversión o mantenerte informado sobre investigaciones recientes. Estas tareas normalmente requieren docenas de horas de trabajo de investigación dedicado».

El sistema opera siguiendo cuatro fases fundamentales:

  1. Planificación: El sistema genera un plan inicial con consultas de búsqueda importantes.
  2. Búsqueda: Recopila resultados a través de un motor de búsqueda.
  3. Autorreflexión: Evalúa si hay lagunas de conocimiento que no han sido cubiertas por las fuentes actuales.
  4. Redacción: Produce un informe de investigación completo con las fuentes debidamente citadas.

Esta metodología permite al sistema realizar lo que los investigadores denominan «razonamiento multi-hop», es decir, la capacidad de conectar información de diferentes fuentes para responder preguntas que requieren varios pasos de razonamiento.

Características técnicas y capacidades

Una de las innovaciones más destacadas de Open Deep Research es su enfoque de «mezcla de agentes» (MoA), donde se asignan diferentes modelos de lenguaje a roles específicos dentro del flujo de trabajo:

  • Un planificador (Qwen2.5-72B-Instruct-Turbo) con fuertes capacidades de planificación y razonamiento.
  • Un resumidor (Llama-3.3-70B-Instruct-Turbo) que condensa el contenido extenso de las páginas web.
  • Un extractor JSON (Meta-Llama-3.1-70B-Instruct-Turbo) que mejora la robustez del flujo de trabajo.
  • Un redactor de informes (DeepSeek-V3) que agrega información de las fuentes y escribe informes de investigación de alta calidad.

«La gran disponibilidad de modelos en la nube de TogetherAI, que abarcan generación de texto, imagen y audio, nos permite seleccionar el modelo más adecuado para cada tarea, equilibrando calidad con eficiencia de costes», señalan los desarrolladores.

Capacidades multimodales

El sistema no se limita a generar texto. También puede crear visualizaciones utilizando gráficos Mermaid JS que muestran relaciones y flujos visualmente, generar imágenes de portada personalizadas mediante los modelos FLUX de Black Forest Labs, e incluso producir podcasts que explican el contenido del informe de manera atractiva utilizando los modelos AI Sonic de Cartesia.

«La combinación de renderización HTML con gráficos Mermaid JS ha demostrado ser una estrategia exitosa. Aunque los modelos de lenguaje no pueden proporcionar salidas de imágenes estructuradas directamente, resulta sencillo pedirles que generen contenido en JavaScript que luego puede ser renderizado y manipulado con bibliotecas externas», explican los creadores.

Resultados y evaluaciones de rendimiento

Para evaluar la efectividad de Open Deep Research, el equipo de Together AI utilizó tres benchmarks cuantitativos: FRAMES, SimpleQA y HotPotQA. Estos benchmarks están diseñados para probar diferentes aspectos del sistema:

  • FRAMES: evalúa el razonamiento complejo que requiere integrar información de múltiples pasajes.
  • SimpleQA: proporciona preguntas específicas para evaluar la factualidad.
  • HotPotQA: otro benchmark para el razonamiento en múltiples pasos.

Los resultados muestran que Open Deep Research mejora consistentemente la calidad de las respuestas en comparación con los modelos base por un margen significativo. Además, se comparó con sistemas similares como SmolAgents de HuggingFace y la implementación de LangChain, mostrando un rendimiento competitivo.

Un hallazgo particularmente relevante fue la importancia de la búsqueda en múltiples pasos. Al restringir el sistema a un solo paso de búsqueda (convirtiéndolo esencialmente en una generación aumentada por recuperación simple), el rendimiento disminuyó significativamente, lo que demuestra la necesidad de la exploración en múltiples pasos para resolver preguntas complejas.

Limitaciones y desafíos

A pesar de sus impresionantes capacidades, Open Deep Research enfrenta varios desafíos importantes:

Propagación de errores y alucinaciones

«Nuestro proceso de investigación en múltiples pasos es vulnerable a la propagación de errores. Las interpretaciones erróneas iniciales pueden propagarse a través de iteraciones de búsqueda posteriores, amplificando las inexactitudes», advierten los desarrolladores. Los modelos de lenguaje también pueden generar información plausible pero incorrecta, especialmente con datos de fuentes contradictorias.

Sesgos de representación

Como muchos sistemas de IA, Open Deep Research puede heredar sesgos presentes en los datos de entrenamiento y los índices de búsqueda que utiliza. Estos sesgos pueden manifestarse de diversas formas, incluyendo la subrepresentación de perspectivas minoritarias y la amplificación de estereotipos.

Sesgo de búsqueda y actualidad

La calidad y diversidad de los resultados de búsqueda dependen en gran medida de los índices de búsqueda subyacentes y los algoritmos de clasificación. Además, el sistema puede tener dificultades con eventos en tiempo real: «preguntar por información sobre un evento en vivo dará resultados correctos solo si las páginas se rastrean en tiempo real y no se indexan cada pocas horas», explican.

Disponibilidad y contribución comunitaria

Together AI ha publicado tanto el código como el conjunto de datos de Open Deep Research, permitiendo a desarrolladores e investigadores experimentar con la tecnología y contribuir a su mejora.

«Esperamos que nuestra versión de código abierto pueda ayudar a la comunidad a comprender mejor los sistemas Deep Research y contribuir a los esfuerzos comunitarios para mejorar las herramientas y mitigar las limitaciones mencionadas», concluyen los desarrolladores.

El equipo de investigación principal estuvo dirigido por Federico Bianchi, Zhichao Li y Shang Zhu, con contribuciones clave de Roy Yuan, Zain Hasan y Hassan El Mghari, bajo el liderazgo de James Zou, Albert Meixner y Ben Athiwaratkun.

Esta iniciativa se suma a los recientes esfuerzos en el campo de la investigación profunda de IA, tras el lanzamiento de herramientas similares por parte de OpenAI y otros miembros de la comunidad de código abierto como HuggingFace, evidenciando una tendencia hacia sistemas de búsqueda y síntesis de información cada vez más sofisticados que podrían transformar fundamentalmente nuestra interacción con el conocimiento digital.

Deja un comentario