Particularmente en esta era de amanecer de IA generativa, los costos de la aglomeración están en su punto más stop. Pero eso no se debe simplemente a que las empresas están usando más enumeración, no lo usan de modo efectivo. De hecho, solo este año, se dilación que las empresas desperdicien $ 44.5 mil millones en gastos innecesarios en la aglomeración.

Este es un problema amplificado para Tecnologías de Akamai: La compañía tiene una infraestructura en la aglomeración alto y compleja en múltiples nubes, sin mencionar numerosos requisitos de seguridad estrictos.

A Resuelva esto, el proveedor de ciberseguridad y entrega de contenido recurrió a la plataforma de automatización de Kubernetes Equipo que tienescuyos agentes de IA ayudan a optimizar el costo, la seguridad y velocidad en entornos de nubes.

En última instancia, la plataforma ayudó a Akamai a estrechar entre 40% y 70% de los costos de la aglomeración, dependiendo de la carga de trabajo.

“Necesitábamos una forma continua de optimizar nuestra infraestructura y estrechar nuestros costos de nubes sin matar el rendimiento”, dijo a VentureBeat de Dekel Shavit, director senior de ingeniería en la aglomeración de Akamai. “Somos los que procesamos eventos de seguridad. El retraso no es una opción. Si no podemos reponer a un ataque de seguridad en tiempo auténtico, hemos fallado”.

Agentes especializados que monitorean, analizan y actúan

Kubernetes administra la infraestructura que ejecuta aplicaciones, lo que hace que sea más liviana implementarlas, escalarlas y administrarlas, particularmente en arquitecturas nativas de nubes y microservicios.

Cast AI se ha integrado en el ecosistema Kubernetes para ayudar a los clientes a ascender sus clústeres y cargas de trabajo, escoger la mejor infraestructura y llevar la batuta los ciclos de vida de enumeración, explicó el fundador y CEO Laurent Gil. Su plataforma principal es la automatización del rendimiento de la aplicación (APA), que opera a través de un equipo de agentes especializados que monitorean, analizan y toman medidas continuas para mejorar el rendimiento de la aplicación, la seguridad, la eficiencia y el costo. Las empresas provienen solo el enumeración que necesitan de AWS, Microsoft, Google u otros.

APA funciona con varios modelos de educación inevitable (ML) con educación de refuerzo (RL) basados ​​en datos históricos y patrones aprendidos, mejorados por una pila de observabilidad y heurísticas. Está yuxtapuesto con herramientas de infraestructura como código (IAC) en varias nubes, lo que lo convierte en una plataforma completamente automatizada.

Gil explicó que APA se construyó en el principio de que la observabilidad es solo un punto de partida; Como lo llamó, la observabilidad es “la pulvínulo, no el objetivo”. El nómina de IA igualmente admite la apadrinamiento incremental, por lo que los clientes no tienen que nacer y reemplazar; Pueden integrarse en las herramientas y flujos de trabajo existentes. Encima, carencia deja la infraestructura del cliente; Todos los estudio y acciones ocurren internamente de sus grupos dedicados de Kubernetes, proporcionando más seguridad y control.

Gil igualmente enfatizó la importancia de la centricción humana. “La automatización complementa la toma de decisiones humanas”, dijo, con APA manteniendo flujos de trabajo humanos en el medio.

Desafíos únicos de Akamai

Shavit explicó que la red de contenido de contenido (CDN) y los servicios de ciberseguridad grandes y complejos de Akamai se entregaron a “algunos de los clientes e industrias más exigentes del mundo”, al tiempo que cumplen con los estrictos acuerdos de nivel de servicio (SLA) y los requisitos de rendimiento.

Señaló que para algunos de los servicios que consumen, son probablemente los clientes más grandes para su proveedor, y agregó que han hecho “toneladas de ingeniería central y reingeniería” con su hiperscalador para apoyar sus evacuación.

Encima, Akamai atiende a clientes de varios tamaños e industrias, incluidas grandes instituciones financieras y compañías de tarjetas de crédito. Los servicios de la compañía están directamente relacionados con la postura de seguridad de sus clientes.

En última instancia, Akamai necesitaba equilibrar toda esta complejidad con el costo. Shavit señaló que los ataques de la vida auténtico a los clientes podrían impulsar la capacidad 100x o 1,000x en componentes específicos de su infraestructura. Pero “ascender nuestra capacidad en la aglomeración con 1,000 veces por aventajado no es factible financieramente”, dijo.

Su equipo consideró optimizar en el costado del código, pero la complejidad inherente de su maniquí de negocio requirió centrarse en la infraestructura central misma.

Optimización cibernética de toda la infraestructura de Kubernetes

Lo que Akamai en realidad necesitaba era una plataforma de automatización de Kubernetes que podría optimizar los costos de ejecutar toda su infraestructura central en tiempo auténtico en varias nubes, explicada por Shavit, y ascender aplicaciones en torno a en lo alto y en torno a debajo en función de la demanda constantemente cambiante. Pero todo esto tenía que hacerse sin matar el rendimiento de la aplicación.

Ayer de implementar el nómina, Shavit señaló que el equipo de DevOps de Akamai sintonizaba manualmente todas sus cargas de trabajo de Kubernetes solo unas pocas veces al mes. Dada la escalera y la complejidad de su infraestructura, fue un desafío y costoso. Al analizar solo las cargas de trabajo esporádicamente, claramente se perdieron cualquier potencial de optimización en tiempo auténtico.

“Ahora, cientos de agentes del nómina hacen la misma afinación, excepto que lo hacen cada segundo de cada día”, dijo Shavit.

Las características de APA principales que utiliza Akamai son la automatización de Kubernetes en profundidad de autoscalización con empaque de contenedor (minimizando el número de contenedores utilizados), selección cibernética de las instancias de enumeración más rentables, las cartas de la carga de trabajo, la automatización de instancias spot a lo prolongado de todo el ciclo de vida de la instancia y las capacidades de estudio de costos.

“Obtuvimos información sobre los estudio de costos dos minutos en la integración, que es poco que nunca antiguamente habíamos pasado”, dijo Shavit. “Una vez que los agentes activos se implementaron, la optimización se activó automáticamente y los ahorros comenzaron a entrar”.

Las instancias spot, donde las empresas pueden lograr a la capacidad de la aglomeración no utilizada a precios con descuento, obviamente tenían sentido comercial, pero resultaron ser complicados correcto a las complejas cargas de trabajo de Akamai, particularmente Apache Spark, señaló Shavit. Esto significaba que necesitaban cargas de trabajo excesivas o ponerlas más de trabajo sobre ellas, lo que resultó ser financieramente contradictorio.

Con el nómina de IA, pudieron usar instancias spot en Spark con “cero inversión” del equipo de ingeniería u operaciones. El valía de las instancias spot fue “súper claro”; Solo necesitaban encontrar la útil adecuada para poder usarlas. Esta fue una de las razones por las que avanzaron con el nómina, señaló Shavit.

Si correctamente economizar 2x o 3x en su preparación de la aglomeración es excelente, Shavit señaló que la automatización sin intervención manual no tiene precio “. Ha resultado en ahorros de tiempo “masivos”.

Ayer de implementar la IA de reparto, su equipo se estaba “moviendo constantemente aproximadamente de las perillas y los interruptores” para avalar que sus entornos de producción y los clientes estuvieran a la consideración del servicio en el que necesitaban modificar.

“Sin duda, el anciano beneficio ha sido el hecho de que ya no necesitamos llevar la batuta nuestra infraestructura”, dijo Shavit. “El equipo de agentes del nómina ahora está haciendo esto por nosotros. Eso ha libertino a nuestro equipo para concentrarse en lo que más importa: difundir características más rápido para nuestros clientes”.

Nota del editor: en este mes Transformación de VBGoogle Cloud CTO Will Grannis y Highmark Health SVP y el director de estudio de estudio Richard Clarke discutirán la nueva pila de IA en la atención médica y los desafíos del mundo auténtico de implementar sistemas de IA múltiples modelos en un entorno engorroso y regulado. Regístrese hoy.