Está surgiendo un patrón en el mundo de la infraestructura de IA: las herramientas populares de código despejado se están transformando en nuevas empresas respaldadas por caudal de aventura por valía de cientos de millones de dólares. El final ejemplo es RadixArkla empresa comercial detrás de SGLang, una utensilio cada vez más popular que ayuda a que los modelos de IA se ejecuten de forma más rápida y económica.

RadixArk fue valorada recientemente en unos 400 millones de dólares en una ronda de financiación liderada por Accel, según dos personas familiarizadas con el asunto, una cantidad trascendente para una startup que se anunció escasamente en agosto pasado. TechCrunch no pudo confirmar el tamaño de la financiación.

La novedad llega cuando parte del equipo responsable de persistir SGLang, que utilizan empresas como xAI y Cursor para acelerar el entrenamiento de modelos de IA, ha realizado la transición a la startup comercial recientemente puyazo. RadixArk se originó como SGLang en 2023 interiormente del laboratorio de UC Berkeley del cofundador de Databricks, Ion Stoica.

La startup anteriormente obtuvo caudal aquel de inversores, incluido el director ejecutante de Intel, Lip-Bu Tan, dijeron las personas.

Ying Sheng, colaborador secreto de SGLang y ex ingeniero de xAI, dejó la startup de inteligencia sintético de Elon Musk para convertirse en cofundador y director ejecutante de RadixArk, según un Anuncio de LinkedIn ella hizo el mes pasado. Anteriormente, Sheng fue verificado investigador en Databricks.

Ying Sheng, Accel y Lip-Bu Tan de RadixArk no respondieron a una solicitud de comentarios.

Tanto SGLang como RadixArk se centran en optimizar el procesamiento de inferencia, esencialmente permitiendo que los modelos se ejecuten de guisa más rápida y valioso en el mismo hardware. Conexo con el entrenamiento de modelos, la inferencia representa una gran parte de los costos del servidor asociados con los servicios de IA. Como resultado, las herramientas que optimizan el proceso pueden suscitar enormes ahorros casi de inmediato.

RadixArk no es el único que realiza esta transición de un plan de código despejado a una startup admisiblemente financiada. vLLM, un plan más madurado para optimizar la inferencia, además ha entregado el brinco. La empresa recién formada ha mantenido conversaciones sobre la cuestación de más de 160 millones de dólares en financiación con una valoración de más o menos de mil millones de dólares. Forbes informó mes pasado.

Tres personas familiarizadas con ese acuerdo le dijeron a TechCrunch que Andreessen Horowitz está liderando la inversión en vLLM, aunque las cifras finales de esa inversión aún están por encontrarse. Andreessen Horowitz declinó hacer comentarios. El cofundador de vLLM, Simon Mo, calificó la información sobre esta ronda como “objetivamente inexacta” en una manifiesto a TechCrunch, aunque se negó a especificar qué detalles eran incorrectos.

Al igual que SGLang, vLLM se incubó en el laboratorio de Ion Stoica en UC Berkeley. Stoica, profesora de UC Berkeley, es la famosa cofundadora de Databricks y de otras empresas emergentes.

Varias grandes empresas de tecnología ya ejecutan sus cargas de trabajo de inferencia utilizando vLLM, y SGLang además ha yeguada una popularidad significativa en los últimos seis meses, dijo a TechCrunch Brittany Walker, socia genérico de CRV. Su firma no respaldó a ninguna de las dos empresas.

RadixArk continúa desarrollando SGLang como un motor de maniquí de IA de código despejado. La startup además está construyendo Miles, un situación especializado diseñado para el estudios por refuerzo, que permite a las empresas entrenar modelos de IA para que se vuelvan más inteligentes con el tiempo.

Si admisiblemente la mayoría de sus herramientas siguen siendo gratuitas, RadixArk ha comenzado a cobrar tarifas por los servicios de alojamiento, dijo a TechCrunch una persona familiarizada con la compañía.

Las empresas emergentes que brindan infraestructura de inferencia para desarrolladores han experimentado un aumento en la financiación en los últimos meses, lo que subraya la continua importancia de la capa de inferencia para la IA. Baseten obtuvo recientemente 300 millones de dólares en una Valoración de 5 mil millones de dólaresinformó el martes The Wall Street Journal. Esto sigue a un movimiento similar del rival Fireworks AI, que planteó $250 millones a una valoración de 4 mil millones de dólares en octubre pasado.