Compartir

30 de octubre de 2024

Cómo llevar los agentes de IA a producción con la API de Gemini

Vishal Dharmadhikari

Ingeniero de soluciones de productos

Paige Bailey

Ingeniero de experiencia del desarrollador de IA

Adam Silverman

COO, Agency AI

Hero de la presentación de AgentOps

Crear e implementar agentes de IA es un campo emocionante, pero administrar estos sistemas complejos en un entorno de producción requiere una observabilidad sólida. AgentOps, un SDK de Python para la supervisión de agentes, el seguimiento de costos de LLM, la evaluación comparativa y mucho más, permite a los desarrolladores llevar sus agentes del prototipo a la producción, en especial cuando se combina con la potencia y la rentabilidad de la API de Gemini.

IU de la plataforma AgentOps que muestra a Gemini en acción

Las ventajas de Gemini

Adam Silverman, director de operaciones de Agency AI, el equipo detrás de AgentOps, explica que el costo es un factor fundamental para las empresas que implementan agentes de IA a gran escala. "Hemos visto empresas que gastan USD 80,000 al mes en llamadas a LLM. Con Gemini 1.5, habría costado unos miles de dólares para el mismo resultado".

Esta rentabilidad, combinada con las potentes capacidades de comprensión y generación de lenguaje de Gemini, lo convierten en una opción ideal para los desarrolladores que crean agentes de IA sofisticados. "Gemini 1.5 Flash nos brinda una calidad comparable a la de los modelos más grandes, a una fracción del costo y con una velocidad increíble", afirma Silverman. Esto permite que los desarrolladores se enfoquen en crear flujos de trabajo de agentes complejos de varios pasos sin preocuparse por los costos descontrolados.

“Hemos visto que las ejecuciones de agentes individuales con otros proveedores de LLM cuestan más de USD 500 por ejecución. Estas mismas ejecuciones con Gemini (1.5 Flash-8B) cuestan menos de USD 50".

— Adam Silverman, director de Operaciones, Agency AI

Simulación del panel de AgentOps que muestra estadísticas y análisis

Potencia los agentes de IA

AgentOps captura datos sobre cada interacción del agente, no solo las llamadas a LLM, lo que proporciona una vista integral de cómo operan los sistemas multiagente. Este nivel de detalle es fundamental para los equipos de ingeniería y cumplimiento, ya que ofrece estadísticas cruciales para la depuración, la optimización y los registros de auditoría.

Integrar modelos de Gemini con AgentOps es muy sencillo y, a menudo, solo lleva unos minutos con LiteLLM. Los desarrolladores pueden obtener visibilidad rápidamente de sus llamadas a la API de Gemini, hacer un seguimiento de los costos en tiempo real y garantizar la confiabilidad de sus agentes en producción.

Con la mirada puesta en el futuro

AgentOps se compromete a brindar asistencia a los desarrolladores de agentes a medida que expanden sus proyectos. La IA de la agencia ayuda a las empresas a navegar por las complejidades de crear agentes asequibles y escalables, lo que consolida aún más la propuesta de valor de combinar AgentOps con la API de Gemini. Como enfatiza Silverman, "está llevando a más desarrolladores preocupados por los precios a crear agentes".

Para los desarrolladores que consideran usar Gemini, el consejo de Silverman es claro: "Pruébalo y te sorprenderá".