ztevenreal
¿Quieres ideas más inteligentes en tu bandeja de entrada? Regístrese en nuestros boletines semanales para obtener solo lo que importa a los líderes de IA, datos y seguridad empresariales. Suscríbete ahora
AWS sondeo extender su posición de mercado con Actualizaciones de Sagemakersu educación automotriz y la plataforma de entrenamiento de modelos de IA e inferencia, agregando nuevas capacidades de observabilidad, entornos de codificación conectados y administración del rendimiento del clúster de GPU.
Sin bloqueo, AWS continúa enfrentando la competencia de Google y Microsoftque incluso ofrecen muchas características que ayudan a acelerar la capacitación e inferencia de IA.
Sagemaker, que se transformó en un centro unificado para integrar fuentes de datos y penetrar a herramientas de educación automotriz en 2024, agregará características que proporcionan información sobre por qué el rendimiento del maniquí ralentiza y ofrece a los clientes de AWS más control sobre la cantidad de enumeración asignado para el expansión del maniquí.
Otras nuevas características incluyen la conexión de entornos de expansión integrados locales (IDES) a Sagemaker, por lo que los proyectos de IA escritos localmente se pueden implementar en la plataforma.
El director común de Sagemaker, Ankur Mehrotra, dijo a VentureBeat que muchas de estas nuevas actualizaciones se originaron en los propios clientes.
“Un desafío que hemos conocido a nuestros clientes enredar mientras desarrollan modelos Gen AI es que cuando poco sale mal o cuando poco no funciona según las expectativas, es efectivamente difícil encontrar lo que está sucediendo en esa capa de la pila”, dijo Mehrotrra.
La observabilidad de Sagemaker Hyperpod permite a los ingenieros examinar las diversas capas de la pila, como la capa de enumeración o la capa de red. Si poco sale mal o los modelos se vuelven más lentos, Sagemaker puede alertarlos y editar métricas en un tablero.
Mehrotra señaló un problema actual que enfrentó su propio equipo mientras entrenaba nuevos modelos, donde el código de entrenamiento comenzó a resaltar las GPU, causando fluctuaciones de temperatura. Dijo que sin las últimas herramientas, los desarrolladores habrían tomado semanas para identificar la fuente del problema y luego solucionarlo.
IDES conectados
Sagemaker ya ofreció dos formas para que los desarrolladores de IA entrenen y ejecuten modelos. Tenía ataque a IDES completamente administrados, como Jupyter Lab o editor de código, para ejecutar sin problemas el código de capacitación en los modelos a través de Sagemaker. Entendiendo que otros ingenieros prefieren usar sus IDE locales, incluidas todas las extensiones que han instalado, AWS incluso les permitió ejecutar su código en sus máquinas.
Sin bloqueo, Mehrotra señaló que significaba que los modelos codificados localmente solo se ejecutaban localmente, por lo que si los desarrolladores querían avanzar, demostró ser un desafío significativo.
AWS agregó una nueva ejecución remota segura para permitir que los clientes continúen trabajando en su IDE preferido, ya sea nave o administrado, y conecte OT a Sagemaker.
“Por lo tanto, esta capacidad ahora les da lo mejor de los dos mundos donde si lo desean, pueden desarrollarse localmente en un IDE nave, pero luego en términos de ejecución de tareas reales, pueden beneficiarse de la escalabilidad de Sagemaker”, dijo.
Más flexibilidad en enumeración
AWS lanzó Sagemaker HyperPod en diciembre de 2023 como un medio para ayudar a los clientes a llevar la batuta grupos de servidores para modelos de capacitación. Similar a proveedores como CoreweaveHyperPod permite a los clientes de Sagemaker dirigir el poder de cálculo no utilizado a su ubicación preferida. HyperPod sabe cuándo programar el uso de GPU en función de los patrones de demanda y permite a las organizaciones equilibrar sus posibles y costos de modo efectiva.
Sin bloqueo, AWS dijo que muchos clientes querían el mismo servicio de inferencia. Muchas tareas de inferencia ocurren durante el día en que las personas usan modelos y aplicaciones, mientras que la capacitación generalmente está programada durante las horas de beocio actividad.
Mehrotra señaló que incluso en la inferencia mundial, los desarrolladores pueden priorizar las tareas de inferencia en las que HyperPod debe centrarse.
Laurent Sifre, cofundador y CTO de AI Agent Company H quiendijo en una publicación de blog de AWS que la compañía usó Sagemaker HyperPod al construir su plataforma de agente.
“Esta transición perfecta de la capacitación a la inferencia simplificó nuestro flujo de trabajo, redució el tiempo a la producción y ofreció un rendimiento constante en entornos en vivo”, dijo Sifre.
AWS y la competencia
Es posible que Amazon no esté ofreciendo los modelos de cojín más splashiest como sus rivales de proveedores en la cúmulo, Google y Microsoft. Aún así, AWS se ha centrado más en proporcionar la columna vertebral de la infraestructura para que las empresas creen modelos, aplicaciones o agentes de IA.
Adicionalmente de Sagemaker, AWS incluso ofrece Bedrock, una plataforma diseñada específicamente para la construcción de aplicaciones y agentes.
Sagemaker ha existido durante abriles, inicialmente sirviendo como un medio para conectar herramientas de educación automotriz dispares a los lagos de datos. Cuando comenzó el expansión generativo de IA, los ingenieros de IA comenzaron a usar Sagemaker para ayudar a entrenar modelos de idiomas. Sin bloqueo, Microsoft está presionando para su ecosistema de tela, con el 70% de las compañías Fortune 500 que lo adoptan, para convertirse en un líder en los datos y el espacio de apresuramiento de IA. Google, a través de Vertex AI, ha hecho en silencio en la admisión de AI Enterprise.
AWS, por supuesto, tiene la superioridad de ser el proveedor de nubes más utilizado. Cualquier aggiornamento que haga que sus muchas plataformas de infraestructura de IA sean más fáciles de usar siempre será un beneficio.
