Los investigadores de Microsoft acaban de crear BITNET B1.58 2B4T, un maniquí de idioma ínclito de 1 bits de código hendido (LLM) con dos mil millones de parámetros entrenados en cuatro billones de tokens. Pero lo que hace que este maniquí de IA sea único es que es lo suficientemente tenue como para funcionar de forma capaz en una CPU, con TechCrunch Aseverar un chip Apple M2 puede ejecutarlo. El maniquí igualmente está fácilmente acondicionado en Cara abrazadapermitiendo que cualquiera experimente con él.

Las redes de bits usan pesos de 1 bits con solo tres títulos posibles: -1, 0 y +1, técnicamente es un “maniquí de 1.58 bits” oportuno al soporte para tres títulos. Esto ahorra mucha memoria en comparación con los modelos AI convencionales con formatos de punto flotante de 32 bits o 16 bits, lo que les permite tratar de forma mucho más capaz y requieren menos memoria y potencia computacional. Sin retención, la simplicidad de Bitnet tiene un inconveniente: es menos preciso en comparación con los modelos de IA más grandes. Sin retención, BITNET B1.58 2B4T compensa esto con sus datos de entrenamiento masivo, que se estima en más de 33 millones de libros.