ztevenreal
Únase a nuestros boletines diarios y semanales para obtener las últimas actualizaciones y contenido exclusivo sobre la cobertura de IA líder de la industria. Obtenga más información
Liquid AI, la startup del maniquí de fundación con sede en Boston se salió del Instituto de Tecnología de Massachusetts (MIT), examen mover la industria tecnológica más allá de su dependencia de la obra de transformadores que sustenta los modelos de idiomas grandes (LLM) más populares como la serie GPT de OpenAI y la clan Gemini de Google.
Ayer, la compañía anunció “Borde de hiena“, Un nuevo maniquí multi-híbrido basado en convolución diseñado para teléfonos inteligentes y otros dispositivos de borde antiguamente del Conferencia Internacional sobre Representaciones de Educación (ICLR) 2025.
La conferencia, uno de los principales eventos para la investigación de educación instintivo, tendrá área este año en Viena, Austria.
El nuevo maniquí basado en la convolución promete una IA más rápido y más eficaz en la memoria en el borde
Hyena Edge está diseñado para exceder las líneas de saco de transformadores fuertes tanto en eficiencia computacional como en la calidad del maniquí de estilo.
En las pruebas del mundo auténtico en un teléfono inteligente Samsung Galaxy S24 Reaccionario, el maniquí entregó una latencia más desestimación, una huella de memoria más pequeña y mejores resultados de remisión en comparación con un maniquí de transformador ++ de parámetros.
Una nueva obra para una nueva era de Edge AI
A diferencia de la mayoría de los modelos pequeños diseñados para la implementación móvil, incluidas SMOLLM2, los modelos PHI y LLAMA 3.2 1B, Hyena Edge se aleja de los diseños tradicionales de atención. En cambio, reemplaza estratégicamente a dos tercios de los operadores de atención de la Oquera Agrupada (GQA) con convoluciones cerradas de la clan Hyena-Y.
La nueva obra es el resultado de la síntesis de AI de humor del entorno de arquitecturas personalizadas (STAR), que utiliza algoritmos evolutivos para diseñar automáticamente los troncos de modelos y se anunció en diciembre de 2024.
Star explora una amplia matiz de composiciones de operadores, enraizadas en la teoría matemática de los sistemas lineales que varían de entrada, para optimizar múltiples objetivos específicos de hardware como la latencia, el uso de la memoria y la calidad.
Benchmarked directamente en el hardware del consumidor
Para validar la preparación del mundo auténtico de Hyena Edge, Liquid AI realizó pruebas directamente en el teléfono inteligente Samsung Galaxy S24 Reaccionario.
Los resultados muestran que Hyena Edge alcanzó las latencias de prefirción y decodificación hasta un 30% más rápidos en comparación con su contraparte de transformador ++, con ventajas de velocidad que aumentan a longitudes de secuencia más largas.
Las latencias previas a la presentación a longitudes de secuencia cortas asimismo superaron la dirección de saco del transformador, una métrica de rendimiento crítico para aplicaciones receptivas en dispositivo.
En términos de memoria, Hyena Edge usó constantemente menos RAM durante la inferencia en todas las longitudes de secuencia probada, posicionándola como un candidato válido para entornos con limitaciones de capital estrictos.
Superación de transformadores en puntos de remisión de idiomas
Hyena Edge fue entrenado en 100 mil millones de tokens y evaluada en puntos de remisión tipificado para modelos de lenguas pequeñas, incluidos Wikitext, Lambada, Piqa, HellaSwag, Winogrande, Arc-Easy y Arc-Challenge.
En cada punto de remisión, Hyena Edge coincidió o excedió el rendimiento del maniquí GQA-Transformer ++, con mejoras notables en los puntajes de perplejidad en Wikitext y Lambada, y mayores tasas de precisión en PIQA, Hellowag y Winogrande.
Estos resultados sugieren que las ganancias de eficiencia del maniquí no tienen costo de la calidad predictiva, una compensación popular para muchas arquitecturas optimizadas por el borde.
Hyena Edge Evolution: una vistazo a las tendencias de rendimiento y cámara
Para aquellos que buscan una inmersión más profunda en el proceso de explicación de Hyena Edge, un flamante Tutorial de video Proporciona un recopilación visual convincente de la crecimiento del maniquí.
El video resalta cómo las métricas secreto de rendimiento, incluida la latencia de pregrascos, la latencia de decodificación y el consumo de memoria, mejoraron con las generaciones sucesivas de refinamiento de obra.
Asimismo ofrece una rara vistazo detrás de secuencia de cómo la composición interna del borde de hiena cambió durante el explicación. Los espectadores pueden ver cambios dinámicos en la distribución de los tipos de operadores, como los mecanismos de autoatensión (SA), varias variantes de hiena y capas Swiglu.
Estos cambios ofrecen información sobre los principios de diseño arquitectónico que ayudaron al maniquí a alcanzar su nivel coetáneo de eficiencia y precisión.
Al visualizar las compensaciones y la dinámica del cámara a lo abundante del tiempo, el video proporciona un contexto valioso para comprender los avances arquitectónicos subyacentes al rendimiento de Hyena Edge.
Planes de código franco y una visión más amplia
Liquid Ai dijo que planea de código franco una serie de modelos de cimientos líquidos, incluidos Hyena Edge, en los próximos meses. El objetivo de la compañía es construir sistemas de IA de propósito común capaces y eficientes que puedan esquilar desde centros de datos en la cirro hasta dispositivos personales de borde.
El apertura de Hyena Edge asimismo destaca el creciente potencial de arquitecturas alternativas para desafiar los transformadores en entornos prácticos. Con cada vez más, se aplazamiento que los dispositivos móviles ejecuten cargas de trabajo de IA sofisticadas de forma nativa, modelos como Hyena Edge podrían establecer una nueva dirección de saco para lo que puede conseguir la IA optimizada de borde.
El éxito de Hyena Edge, tanto en las métricas de rendimiento bruto como en la exhibición del diseño automatizado de la obra, posiciona la IA líquida como uno de los jugadores emergentes para ver en el panorama del maniquí de IA evolutivo.
