La eficiencia ha surgido como un desafío crítico para las organizaciones que implementan IA. Aunque construir aplicaciones de IA se ha vuelto más fácil, ejecutarlas a escala sigue siendo costoso e intensivo en recursos. Este desafío es particularmente agudo para los agentes de IA, que pueden tener mayores demandas de inferencia mientras razonan a través de problemas, aprovechan una variedad de herramientas y se coordinan a través de múltiples sistemas.
La mayoría de las empresas optan por los modelos más grandes y capaces para impulsar sus agentes, pero una cantidad significativa del tiempo de un agente se gasta haciendo tareas rutinarias, como revisar calendarios y buscar documentos, que no requieren inteligencia avanzada. ¿El resultado? Costos innecesarios, respuestas más lentas y recursos desperdiciados.
La solución reside en la personalización: adaptar modelos más pequeños y especializados para manejar el trabajo que los agentes hacen con mayor frecuencia para entregar respuestas más rápidas y precisas a costos más bajos. Pero hasta ahora, las técnicas avanzadas de personalización como el aprendizaje por refuerzo requerían experiencia profunda en machine learning, infraestructura extensa y meses de tiempo de desarrollo.
Hoy, anunciamos nuevas capacidades de Amazon Bedrock y Amazon SageMaker AI que hacen que la personalización avanzada de modelos sea accesible para desarrolladores de cualquier organización. Reinforcement Fine Tuning (RFT) en Amazon Bedrock y la personalización serverless de modelos en Amazon SageMaker AI con aprendizaje por refuerzo simplifican el proceso de crear IA eficiente que es rápida, rentable y más precisa en comparación con los modelos base. Al hacer estas técnicas más accesibles para los desarrolladores de nuestros clientes, estamos facilitando que organizaciones de todos los tamaños construyan agentes personalizados para cualquier necesidad empresarial.
## RFT facilitado para desarrolladores cotidianos con Amazon Bedrock
Las técnicas de personalización difíciles presentan un obstáculo para construir modelos personalizados y eficientes. El aprendizaje por refuerzo, por ejemplo, entrena un modelo utilizando retroalimentación de humanos u otro modelo. El buen comportamiento se refuerza, mientras que el mal comportamiento se corrige. Es particularmente bueno para razonamiento y flujos de trabajo complejos porque recompensa buenos procesos, no solo buenas respuestas. Sin embargo, el aprendizaje por refuerzo requiere un pipeline de entrenamiento complejo, computación masiva y acceso a retroalimentación humana costosa o un modelo de IA poderoso para evaluar cada respuesta.
RFT en Amazon Bedrock simplifica el proceso de personalización de modelos, abriendo la técnica a cualquier desarrollador en cualquier organización. Amazon Bedrock es una plataforma de IA completamente administrada que brinda a los clientes acceso a modelos fundacionales de alto rendimiento de las principales empresas de IA, junto con capacidades para construir agentes y aplicaciones de IA generativa con características de seguridad, privacidad e IA responsable. RFT en Amazon Bedrock ofrece ganancias de precisión del 66% en promedio sobre los modelos base, ayudándole a obtener mejores resultados con modelos más pequeños, rápidos y rentables en lugar de depender de modelos más grandes y costosos.
El proceso es simple. Los desarrolladores seleccionan su modelo base, lo dirigen a sus registros de invocación (en otras palabras, el historial de la IA), o cargan un conjunto de datos. Luego, eligen una función de recompensa: basada en IA, basada en reglas o una plantilla lista para usar. Los flujos de trabajo automatizados en Amazon Bedrock manejan el proceso de ajuste fino de extremo a extremo. No se requiere un doctorado en machine learning, solo un sentido claro de cómo se ven los buenos resultados para el negocio. En el lanzamiento, RFT en Amazon Bedrock admitirá el modelo Amazon Nova 2 Lite. La compatibilidad con modelos adicionales llegará pronto.
Clientes como Salesforce y Weni by VTEX han visto mayor precisión y eficiencia usando RFT en Amazon Bedrock. Phil Mui, SVP de Ingeniería de Software, Agentforce en Salesforce, dijo: «Las pruebas de referencia de AWS con Reinforcement Fine Tuning de Amazon Bedrock muestran resultados prometedores, demostrando hasta un 73% de mejora sobre el modelo base en precisión para nuestros requisitos empresariales específicos. Anticipamos aprovechar RFT para mejorar y extender lo que ya logramos con el ajuste fino supervisado, permitiéndonos entregar soluciones de IA aún más precisas y personalizadas para nuestros clientes. Este enfoque complementa nuestro flujo de trabajo existente de desarrollo de IA mientras mantiene los altos estándares de Salesforce para calidad y seguridad».
Amazon SageMaker AI acelera la personalización de modelos de meses a días
Los equipos que necesitan más control sobre el flujo de trabajo de IA pueden recurrir a Amazon SageMaker AI. Los desarrolladores de IA eligen SageMaker AI para personalización porque les da control total para construir, entrenar e implementar los modelos más capaces a escala.
Desde su lanzamiento en 2017, SageMaker AI ha hecho que el flujo de trabajo de desarrollo de IA sea más rápido y eficiente. Sin embargo, a medida que las organizaciones buscan usar técnicas de personalización más avanzadas, desean experiencias más fluidas que eliminen obstáculos que toman meses de trabajo, como la gestión de infraestructura y la generación de datos sintéticos, para que puedan concentrarse en desarrollar mejores resultados para los clientes. Por eso SageMaker AI ahora admite nuevas capacidades de personalización serverless de modelos, haciendo posible la personalización de modelos en solo días.
Hay dos experiencias para elegir: una experiencia agéntica, que se lanza en vista previa, que usa un agente para guiar a los desarrolladores a través del proceso de personalización de modelos, o un enfoque autoguiado para aquellos que les gusta estar en el asiento del conductor. Con la experiencia agéntica, los desarrolladores describen lo que necesitan en lenguaje natural y luego el agente recorre todo el proceso de personalización, desde generar datos sintéticos hasta la evaluación. Los desarrolladores que desean control granular y flexibilidad pueden elegir la experiencia autoguiada. Esto elimina la gestión de infraestructura mientras proporciona las herramientas adecuadas para seleccionar una técnica de personalización y la capacidad de ajustar los parámetros.
Con ambas opciones, los desarrolladores pueden acceder a técnicas de personalización avanzadas como Reinforcement Learning from AI feedback, Reinforcement Learning with Verifiable Rewards, Supervised Fine-Tuning y Direct Preference Optimization. Las nuevas capacidades de SageMaker AI funcionarán con Amazon Nova y modelos populares de pesos abiertos como Amazon Nova, Llama, Qwen, DeepSeek y GPT-OSS, brindando a los clientes una amplia gama de opciones para emparejar el modelo correcto con su caso de uso.
Robin AI y Vody son solo algunos de los clientes que han comenzado a simplificar la personalización de modelos con las nuevas capacidades de SageMaker AI. Collinear AI, una plataforma de mejora de IA construida para IA generativa empresarial, ahorró semanas usando SageMaker AI. Soumyadeep Bakshi, cofundador de Collinear AI, dijo: «El ajuste fino de modelos de IA es crítico para crear simulaciones de alta fidelidad, y solía requerir unir diferentes sistemas para entrenamiento, evaluación e implementación. Ahora, con la nueva capacidad de personalización serverless de modelos de Amazon SageMaker AI, tenemos una forma unificada que nos permite reducir nuestros ciclos de experimentación de semanas a días. Esta herramienta serverless de extremo a extremo nos ayuda a enfocarnos en lo que importa: construir mejores datos de entrenamiento y simulaciones para nuestros clientes, no mantener infraestructura o hacer malabarismos con plataformas dispares».
