AWS ha anunciado importantes mejoras para su servicio Bedrock de modelos de lenguaje (LLM), introduciendo nuevas características diseñadas para reducir costes y mejorar el rendimiento. Las novedades, presentadas durante la conferencia re:Invent en Las Vegas, incluyen un sistema de caché para prompts y enrutamiento inteligente de consultas.
Sistema de caché: optimizando recursos y velocidad
La implementación del sistema de caché representa un importante avance en la eficiencia del servicio. Como explica Atul Deo, director de producto de Bedrock, a TechCrunch: "Cuando varias personas hacen preguntas sobre el mismo documento, normalmente se paga por cada consulta individual". El nuevo sistema permite almacenar y reutilizar respuestas para consultas similares, evitando procesamientos redundantes.
Los beneficios de esta característica son significativos:
- Reducción de costes hasta un 90%
- Disminución de la latencia hasta un 85%
- Mejor rendimiento general del sistema
Como ejemplo práctico, Adobe, que ha probado el sistema de caché en sus aplicaciones de IA generativa sobre Bedrock, reportó una reducción del 72% en los tiempos de respuesta.
Enrutamiento inteligente: la consulta correcta al modelo adecuado
La segunda gran novedad es el sistema de enrutamiento inteligente de prompts. Esta funcionalidad utiliza un modelo de lenguaje pequeño para analizar las consultas entrantes y dirigirlas al modelo más apropiado dentro de la misma familia, optimizando el balance entre rendimiento y coste.
"No siempre necesitamos enviar una consulta simple al modelo más potente, que suele ser más caro y lento", señala Deo. El sistema evalúa automáticamente la complejidad de cada consulta para determinar qué modelo dentro de la familia puede manejarla de manera más eficiente.
Nuevo marketplace para modelos especializados
AWS también ha anunciado el lanzamiento de un marketplace para Bedrock, que permitirá acceder a aproximadamente 100 modelos especializados. Esta iniciativa responde a la creciente demanda de modelos específicos para diferentes casos de uso.
A diferencia del servicio estándar de Bedrock, los usuarios del marketplace deberán gestionar su propia infraestructura, pero ganarán acceso a un ecosistema más amplio de modelos especializados.
Perspectivas de futuro
Estas mejoras llegan en un momento crucial para la industria de la IA, cuando las empresas buscan implementar soluciones de IA generativa de manera más eficiente y rentable. El equipo de AWS ya anticipa futuras expansiones del sistema de enrutamiento, con planes para ofrecer mayor personalización y flexibilidad.
Las nuevas características de Bedrock representan un paso significativo en la maduración de los servicios de IA empresarial, facilitando la transición desde prototipos limitados hacia implementaciones en producción más sostenibles y eficientes.
