ztevenreal
¿Quieres ideas más inteligentes en tu bandeja de entrada? Regístrese en nuestros boletines semanales para obtener solo lo que importa a los líderes de IA, datos y seguridad empresariales. Suscríbete ahora
Los datos de transmisión en tiempo positivo pueden ser valiosos para numerosas aplicaciones y propósitos en todas las industrias. En el caso del Bolsa de Títulos de Nueva York (NYSE), los datos de transmisión son fielmente capital.
La NYSE es uno de los intercambios financieros más grandes del mundo y tiene una larga historia de poder compartir sus datos del mercado financiero.
Hace cien abriles utilizó cinta de ticker basada en Telegraph para compartir información. En la era moderna, ha desarrollado sus propias tecnologías de víctima latencia y de parada rendimiento implementadas en las instalaciones con las que otras organizaciones pueden conectarse.
Ahora está dando el ulterior paso delanteadoptar un maniquí basado en la tecnología de transmisión Apache Kafka de código libre que lleva los datos de las mejores cotizaciones y operaciones (BQT) de NYSE a la montón de AWS.
AI Scaling alcanza sus límites
Los límites de potencia, el aumento de los costos del token y los retrasos de inferencia están remodelando Enterprise AI. Únase a nuestro salón exclusivo para descubrir cómo son los mejores equipos:
- Convertir la energía en una preeminencia estratégica
- Cimentación de inferencia competente para ganancias reales de rendimiento
- Desbloquear ROI competitivo con sistemas de IA sostenibles
Asegure su motivo para mantenerse a la vanguardia: https://bit.ly/4mwgngo
Para hacer eso, NYSE se asoció con el proveedor de plataforma de datos de transmisión Rojoque ha desarrollado su propia implementación de Kafka escrita en el idioma de programación C ++.
La implementación de NYSE de la plataforma de transmisión basada en C ++ de Redpanda logró mejoras de rendimiento de 4-5x Sobre la competencia tradicional de Kafka, exponiendo limitaciones fundamentales en cómo la mayoría de las organizaciones manejan cargas de trabajo de datos explosivas.
Esta brecha de rendimiento se vuelve crítica a medida que las empresas escalan aplicaciones de IA que exigen acercamiento consistente a datos de víctima latencia. La transmisión de datos con sede en Kafka igualmente tiene potencial para habilitar las comunicaciones de agente a agente, rivalizando con otros enfoques como A2A de Google y igualmente se puede extender para habilitar el Protocolo de contexto del maniquí (MCP).
“La relación del mercado es que todos los grandes modelos de fundaciones han indexado efectivamente los conjuntos de datos públicos, y la ulterior frontera son conjuntos de datos privados, y Redpanda efectivamente desbloquea conjuntos de datos privados para el acercamiento de agente”, dijo Alex Gallego, fundador y CEO de Redpanda a VentureBeat.
Lo que el NYSE está construyendo en la montón
NYSE construyó su plataforma de transmisión en la montón para servir a los clientes que no pueden lograr directamente a sus centros de datos. El intercambio se dirige a las compañías FinTech y a los corredores minoristas que necesitan acercamiento basado en AWS a los datos del mercado en tiempo positivo.
“No todos los consumidores de los datos de nuestro mercado tienen la capacidad de obtener a nuestro centro de datos, tomar el feed y usar ese feed”, dijo Vinil Bhandari, principal de ingeniería de nubes y pila completa en NYSE a VentureBeat. “Pero ya sabes, una pequeña tienda en Hong Kong tiene acercamiento para crear su propia cuenta de AWS, por ejemplo, y son esas audiencias a las que estamos tratando de atender”.
NYSE transmite su feed BQT (Best Quotes and Trades), que agrega datos en tiempo positivo de los siete intercambios de NYSE. La implementación requirió construir una nueva infraestructura en motivo de extender los sistemas existentes.
Por qué NYSE eligió Redpanda y cómo es importante la disyuntiva del idioma de programación
NYSE procesa más de 500 mil millones de mensajes diariamente en siete intercambios. Durante la volatilidad del mercado, El convexidad de mensajes puede aumentar 1,000x por encima del promedio adentro de los microsegundos.
Las implementaciones tradicionales de Java luchan con estos patrones porque la casa recoleta de basura crea picos de latencia impredecibles.
“La clásica implementación de Kafka fue escrita en el idioma de programación de Java, lo que hace que este tipo de tráfico estallado, ya sabes, no es muy ajustado con la casa recoleta de basura de Java que ocurre en el idioma de programación”, explicó Bhandari. “Redpanda ha realizado la implementación de Kafka reescribiendo el protocolo Kafka en C ++, por lo que cada vez que obtenemos una crisis de tráfico de nuestra actividad del mercado, la volatilidad, podemos establecer esa transmisión de datos mejor”.
La disyuntiva del idioma de programación igualmente es la razón por la cual NYSE fue con Redpanda para la transmisión de datos en motivo de otras opciones como la transmisión confluente o administrada por Amazon para Kafka (MSK).
Esta intrepidez técnica resultó en mejoras de rendimiento medibles.
“Estamos seguros para establecer que Somos al menos de cuatro a cinco veces más rápido en nuestra entrega de datos utilizando Redpanda En comparación con algunos de nuestros grandes competidores personalizados que están utilizando la tecnología Kafka para transmitir datos similares ”, señaló Bhandari.
Para las empresas que evalúan las plataformas de transmisión, esta comparación destaca una consideración crítica: las implementaciones basadas en Java para la transmisión de datos pueden combatir durante las picos de tráfico, mientras que las alternativas basadas en C ++ pueden nutrir un rendimiento consistente.
La observabilidad resulta crítica para las implementaciones de la labor crítica
Bhandari enfatizó la observabilidad como esencial para la transmisión de la producción. Las capacidades de telemetría incorporadas de Redpanda proporcionaron un valencia operante inmediato.
“Cuanto más sea una implementación como esta puede tener observabilidad y telemetría de lo que está sucediendo bajo el capó, mejor será el productor de los datos y los consumidores de los datos”, explicó Bhandari.
Esta observabilidad permite la detección y resolución de problemas proactivos antiguamente de que los problemas afecten a los clientes. Sin un monitoreo integral, las empresas corren el peligro de descubrir problemas de rendimiento solo luego de que afectan las cargas de trabajo de producción y la experiencia del cliente.
Cambio de filosofía de casa: transmitir como cojín de IA
NYSE utilizará las capacidades de datos de transmisión de una modo sobrado tradicional, al menos inicialmente. Es afirmar, los datos de sus intercambios de mercado están disponibles para que los usuarios los consuman.
La dirección en la que se dirige Redpanda apunta a un futuro de IA más agente, una que los usuarios como NYSE probablemente adoptarán en los próximos abriles. El CEO de Redpanda, Gallego, argumenta que las empresas deben ver la casa de transmisión de modo diferente en la era de la IA.
“La transmisión tiene el patrón arquitectónico adecuado, no para la velocidad, sino porque es la casa adecuada para aplicaciones reactivas y de agente”, explicó Gallego.
Más allá de resolver problemas de rendimiento de transmisión tradicionales, Redpanda se ha reposicionado para lo que Gallego fogosidad la empresa de agentes. La compañía ha envuelto sus conectores de datos en MCP (protocolo de contexto del maniquí), lo que permite a los agentes de IA lograr directamente a las fuentes de datos empresariales.
Este enfoque resuelve un problema de complejidad computacional que surge a medida que las empresas implementan múltiples agentes de IA.
“Sin la API de Kafka, tiene un problema de comunicación cuadrado en el que cada agente tiene que tener acercamiento a cualquier otro agente”, dijo Gallego. “Y cuando introduces la API de Kafka, se reduce de la complejidad computacional cuadrada a derecho”.
Según Gallego, los bancos ya están desplegando cientos de agentes. Un cliente de Redpanda planea construir 1,000 agentes en los próximos dos abriles. Otro actualmente está construyendo 130 agentes para el despliegue de producción adentro de los 18 meses. Estos requisitos de escalera hacen que las decisiones de casa de coordinación de agentes sean críticas para el éxito de la logística de IA a espacioso plazo.
Lo que esto significa para la logística de datos empresariales
Los datos de transmisión en tiempo positivo se convertirán en un aspecto cada vez más crítico de las operaciones de muchas organizaciones.
El proceso de evaluación de NYSE revela criterios de intrepidez críticos para los tomadores de decisiones empresariales que evalúan la infraestructura de transmisión:
Kafka, con sede en Java, llega a las paredes de rendimiento bajo el tráfico de ráfaga. Las organizaciones que manejan cargas de trabajo impredecibles deben evaluar alternativas basadas en C ++ antiguamente de progresar las implementaciones de producción. La diferencia de rendimiento 4-5x no es la optimización insignificante sino la brecha de capacidad fundamental.
Las estrategias de transmisión de la primera montón pueden ganar un rendimiento de escalón de producción. Esto permite patrones de acercamiento a datos globales que antiguamente no eran prácticos adecuado a limitaciones de latencia, abriendo nuevas oportunidades de mercado para empresas basadas en datos.
La coordinación del agente requiere una casa de transmisión. A medida que las implementaciones de IA se expanden más allá de los agentes individuales, las plataformas de transmisión se convierten en infraestructura esencial en motivo de optimizaciones de rendimiento. Las ventajas de complejidad computacional se vuelven críticas a escalera.
Para las organizaciones que planean implementaciones de IA, es fundamental priorizar las plataformas de transmisión que admiten la integración de MCP y la coordinación de los agentes. Las ventajas de complejidad computacional se vuelven críticas a escalera y en la casa de coordinación de modernización luego de implementar múltiples agentes resulta exponencialmente más difícil que construirla correctamente desde el principio.
Las organizaciones que esperan para adoptar la IA deben ojear que las decisiones de la casa de transmisión tomadas hoy en día limitarán las futuras capacidades de IA más de lo que la mayoría de los líderes creen.
