ztevenreal
¿Quieres ideas más inteligentes en tu bandeja de entrada? Regístrese en nuestros boletines semanales para obtener solo lo que importa a los líderes de IA, datos y seguridad empresariales. Suscríbete ahora
Tensorzerouna creación de inicio de infraestructura de código campechano para aplicaciones de modelos de idiomas grandes, anunció el lunes que ha recaudado $ 7.3 millones en fondos iniciales dirigidos por Primera marcacon décimo de Bessemer Venture Partners, Colchoneta, A través de, Coalicióny docenas de inversores de ángeles estratégicos.
La financiación se produce cuando la empresa de 18 meses experimenta un crecimiento explosivo en la comunidad de desarrolladores. Tensorzero repositorio de código campechano Recientemente logró el “#1 Repositorio de tendencias de la semana“Spot a nivel mundial en Github, saltando de aproximadamente 3.000 a más de 9,700 estrellas en los últimos meses a medida que las empresas lidian con la complejidad de la construcción de aplicaciones de IA listas para la producción.
“A pesar de todo el ruido en la industria, las aplicaciones de Companies Building LLM aún carecen de las herramientas adecuadas para satisfacer las complejas micción cognitivas e de infraestructura, y recurren a unir cualquier soluciones tempranas disponibles en el mercado”, dijo Matt Turck, socio universal de Firstmark, quien dirigió la inversión. “Tensorzero proporciona componentes de graduación de producción listos para la empresa para construir aplicaciones LLM que funcionan de forma nativa juntas en un caracolillo de auto-refuerzo, fuera de la caja”.
La compañía con sede en Brooklyn aborda un creciente punto de dolor para las empresas que implementan aplicaciones de IA a escalera. Mientras que modelos de idiomas grandes como GPT-5 y Tirar han demostrado capacidades notables, traducirlas en aplicaciones comerciales confiables requiere orquestar múltiples sistemas complejos para el acercamiento al maniquí, monitoreo, optimización y experimentación.
AI Scaling alcanza sus límites
Los límites de potencia, el aumento de los costos del token y los retrasos de inferencia están remodelando Enterprise AI. Únase a nuestro salón exclusivo para descubrir cómo son los mejores equipos:
- Convertir la energía en una delantera estratégica
- Edificación de inferencia efectivo para ganancias reales de rendimiento
- Desbloquear ROI competitivo con sistemas de IA sostenibles
Asegure su empleo para mantenerse a la vanguardia: https://bit.ly/4mwgngo
Cómo la investigación de fusión nuclear dio forma a una plataforma de optimización de IA innovadora
El enfoque de Tensorzero se deriva del cofundador y los referencias poco convencionales del cofundador y CTO Viraj Mehta en el enseñanza de refuerzo para los reactores de fusión nuclear. Durante su doctorado en Carnegie MellonMehta trabajó en proyectos del Área de Investigación de Energía donde el costo de la resumen de datos “como un automóvil por punto de datos: $ 30,000 por 5 segundos de datos”, explicó en una entrevista nuevo con VentureBeat.
“Ese problema lleva a una gran preocupación sobre dónde afrontar nuestros bienes limitados”, dijo Mehta. “Solo íbamos a ejecutar un puñado de pruebas en total, por lo que la pregunta se convirtió en: ¿Cuál es el empleo marginalmente más valioso del que podemos compendiar datos?” Esta experiencia dio forma a la filosofía central de Tensorzero: maximizar el valencia de cada punto de datos para mejorar continuamente los sistemas de IA.
La información llevó a Mehta y al cofundador Gabriel Bianconi, ex director de productos de Ondo Finance (un plan financiero descentralizado con más de $ 1 mil millones en activos bajo oficina), para reconceptualizar las aplicaciones LLM como problemas de enseñanza de refuerzo donde los sistemas aprenden de la feedback del mundo existente.
“Las aplicaciones LLM en su contexto más amplio se sienten como problemas de enseñanza de refuerzo”, explicó Mehta. “Hace muchas llamadas a un maniquí de enseñanza espontáneo con entradas estructuradas, obtenga futuro estructuradas y eventualmente recibe alguna forma de premio o feedback. Esto me parece un proceso de valor de Markov parcialmente observable”.
Por qué las empresas están abandonando las integraciones de proveedores complejos para la infraestructura de IA unificada
Los enfoques tradicionales para construir aplicaciones LLM requieren que las empresas integren numerosas herramientas especializadas de diferentes proveedores: puertas de enlace maniquí, plataformas de observabilidad, marcos de evaluación y servicios de ajuste fino. Tensorzero Unifica estas capacidades en una sola pila de código campechano diseñada para trabajar juntos sin problemas.
“La mayoría de las empresas no pasaron por la molestia de integrar todas estas herramientas diferentes, e incluso las que lo hicieron terminaron con soluciones fragmentadas, porque esas herramientas no estaban diseñadas para funcionar aceptablemente entre sí”, dijo Bianconi. “Así que nos dimos cuenta de que había una oportunidad para construir un producto que permita este ciclo de feedback en la producción”.
La innovación central de la plataforma es crear lo que los fundadores llaman un “volante de datos y enseñanza”, un ciclo de feedback que convierte las métricas de producción y la feedback humana en modelos más inteligentes, más rápidos y más baratos. Construido en óxido para el rendimiento, Tensorzero logra una sobrecarga de latencia de subcilos, al tiempo que apoya a todos los principales proveedores de LLM a través de una API unificada.
Los principales bancos y nuevas empresas de IA ya están construyendo sistemas de producción en Tensorzero
El enfoque ya ha atraído una apadrinamiento empresarial significativa. Uno de los bancos más grandes de Europa es utilizar Tensorzero para automatizar la reproducción de códigos Changelog, mientras que numerosas nuevas empresas de IA desde la etapa de la Serie A a la Serie B han integrado la plataforma en diversas industrias, incluidas las aplicaciones de vitalidad, finanzas y consumidores.
“El aumento en la apadrinamiento de la comunidad de código campechano y las empresas ha sido increíble”, dijo Bianconi. “Somos afortunados de acaecer recibido contribuciones de docenas de desarrolladores de todo el mundo, y es emocionante ver que Tensorzero ya está impulsando aplicaciones LLM de vanguardia en las startups de IA frontier y grandes organizaciones”.
La pulvínulo de clientes de la compañía zapatilla las organizaciones desde nuevas empresas hasta las principales instituciones financieras, atraídos tanto por las capacidades técnicas como por la naturaleza de código campechano de la plataforma. Para las empresas con estrictos requisitos de cumplimiento, la capacidad de ejecutar Tensorzero internamente de su propia infraestructura proporciona un control crucial sobre los datos confidenciales.
Cómo Tensorzero supera a Langchain y otros marcos de IA a escalera empresarial
Tensorzero se diferencia de soluciones existentes como Langchain y Litellm a través de su enfoque de extremo a extremo y enfoque en implementaciones de graduación de producción. Si aceptablemente muchos marcos se destacan en prototipos rápidos, a menudo alcanzan techos de escalabilidad que obligan a las empresas a restablecer su infraestructura.
“Hay dos dimensiones en las que pensar”, explicó Bianconi. “Primero, hay una serie de proyectos que son muy buenos para comenzar rápidamente, y puede poner un prototipo muy rápido. Pero a menudo las compañías alcanzarán un techo con muchos de esos productos y necesitan bazuquear y agenciárselas otra cosa”.
El enfoque estructurado de la plataforma para la resumen de datos incluso permite técnicas de optimización más sofisticadas. A diferencia de las herramientas de observabilidad tradicionales que almacenan entradas y futuro de texto sin procesar, Tensorzero mantiene datos estructurados sobre las variables que entran en cada inferencia, lo que facilita la capacitación de modelos y probar con diferentes enfoques.
El rendimiento con óxido ofrece una latencia de sub-milisegundos a más de 10,000 consultas por segundo
El rendimiento ha sido una consideración de diseño esencia. En los puntos de relato, la puerta de enlace a pulvínulo de óxido de Tensorzero agrega menos de 1 milisegundo de latencia en el percentil 99 mientras se maneja más de 10,000 consultas por segundo. Esto se compara favorablemente con las alternativas basadas en Python como Litellm, que puede adicionar 25-100x más latencia a niveles de rendimiento mucho más bajos.
“Litellm (Python) a 100 Qps agrega 25-100x+ más latencia P99 que nuestra puerta de enlace a 10,000 QP”, señalaron los fundadores en su anuncio, destacando las ventajas de rendimiento de su implementación de óxido.
La logística de código campechano diseñada para eliminar los miedos de asedio del proveedor de IA
Tensorzero Se ha comprometido a prolongar su plataforma central completamente abierta, sin características pagas, una logística diseñada para gestar confianza con los clientes empresariales que desconfían del asedio del proveedor. La compañía planea monetizar a través de un servicio administrado que automatiza los aspectos más complejos de la optimización de LLM, como la administración de GPU para capacitación de modelos personalizados y recomendaciones de optimización proactiva.
“Nos dimos cuenta muy temprano de que necesitábamos hacer este código campechano, para dar (empresas) la confianza para hacer esto”, dijo Bianconi. “En el futuro, al menos un año a partir de ahora, volveremos con un servicio administrado complementario”.
El servicio administrado se centrará en automatizar los aspectos computacionalmente intensivos de la optimización de LLM mientras mantiene el núcleo de código campechano. Esto incluye el manejo de la infraestructura de GPU para ajustar, ejecutar experimentos automatizados y proporcionar sugerencias proactivas para mejorar el rendimiento del maniquí.
¿Qué sigue para la empresa que reestructura la infraestructura de IA Enterprise
Las posiciones de anuncio Tensorzero A la vanguardia de un movimiento creciente para resolver el desafío “LLMOPS”: la complejidad operativa de ejecutar aplicaciones de IA en la producción. A medida que las empresas consideran cada vez más la IA como infraestructura comercial crítica en empleo de tecnología real, la demanda de herramientas listas para la producción continúa acelerándose.
Con la nueva financiación, Tensorzero planea acelerar el crecimiento de su infraestructura de código campechano mientras construye su equipo. La compañía actualmente está contratando en Nueva York y da la bienvenida a las contribuciones de código campechano de la comunidad de desarrolladores. Los fundadores están particularmente entusiasmados con el crecimiento de herramientas de investigación que permitirán una experimentación más rápida en diferentes aplicaciones de IA.
“Nuestra visión final es permitir un volante de datos y enseñanza para optimizar las aplicaciones LLM, un ciclo de feedback que convierte las métricas de producción y la feedback humana en modelos y agentes más inteligentes, más rápidos y más baratos”, dijo Mehta. “A medida que los modelos de IA se vuelven más inteligentes y adquieren flujos de trabajo más complejos, no puede razonar sobre ellos en el malogrado; debe hacerlo en el contexto de sus consecuencias del mundo existente”.
Tensorzero Crecimiento rápido de Github Y la tracción empresarial temprana sugiere un esforzado ajuste del mercado de productos al enfrentarse uno de los desafíos más apremiantes en el crecimiento nuevo de IA. El enfoque de código campechano de la compañía y el enfoque en el rendimiento de graduación empresarial podrían resultar ventajas decisivas en un mercado donde la apadrinamiento de desarrolladores a menudo precede a las ventas empresariales.
Para las empresas que aún luchan por mover las aplicaciones de IA de prototipo a producción, el enfoque unificado de Tensorzero ofrece una alternativa convincente al alicatado flagrante de herramientas especializadas. Como señaló un observador de la industria, la diferencia entre la construcción de demostraciones de IA y la construcción de negocios de IA a menudo se reduce a la infraestructura, y Tensorzero está apostando a que la infraestructura unificada y orientada al rendimiento será la pulvínulo sobre la cual se construye la próxima reproducción de compañías de IA.
