Otro día, otro maniquí de idioma conspicuo, pero la mensaje de que OpenAi ha atrevido sus primeros modelos de peso hendido (GPT-ASS) con la osadía Apache 2.0 es un trato más conspicuo que la mayoría. Finalmente, puede ejecutar una lectura de ChatGPT fuera de sarta y de forma gratuita, dando a los desarrolladores y a los entusiastas casuales de IA de los Estados Unidos otra útil poderosa para probar.

Como de costumbre, OpenAI hace algunas afirmaciones harto grandes sobre las capacidades de GPT-OSS. El maniquí aparentemente puede exceder a O4-Mini y anota harto cerca de su maniquí O3: los modelos de razonamiento rentables y más potentes de OpenAI, respectivamente. Sin requisa, ese maniquí GPT-ASS llega a un colosal parámetros de 120 mil millones, lo que requiere que se ejecute algún kit de computación serio. Sin requisa, para usted y para mí, todavía hay un maniquí de parámetros de mucho rendimiento de 20 mil millones apto.

En teoría, el maniquí de parámetros de 20 mil millones se ejecutará en una computadora portátil o PC moderna, siempre que tenga un RAM mucho y una poderosa CPU o GPU para exceder los números. Qualcomm incluso afirma que está entusiasmado por arrostrar GPT-OSS a sus plataformas de cuenta, piense en PC en extensión de móvil. Aún así, esto plantea la pregunta: ¿es posible ejecutar el chatgpt completamente fuera de sarta y en el dispositivo, de forma gratuita, en una computadora portátil o incluso en su teléfono inteligente? Bueno, es factible, pero no lo recomendaría.

A pesar de resumir el GPT-OSS de 120 mil millones a 20 mil millones de parámetros para un uso más universal, el maniquí cuantificado oficial aún pesa en un válido 12.2GB. OpenAI especifica los requisitos de VRAM de 16 GB para el maniquí 20B y 80 GB para el maniquí 120B. Necesita una máquina capaz de perdurar todo en la memoria a la vez para alcanzar un rendimiento legítimo, lo que lo coloca firmemente en el departamento NVIDIA RTX 4080 para una memoria GPU dedicada suficiente, escasamente poco a lo que todos tengamos golpe.

Para las PC con un GPU VRAM más pequeño, querrá 16 GB de RAM del sistema si puede dividir parte del maniquí en la memoria de GPU, y preferiblemente una GPU capaz de cruzar los datos de precisión FP4. Para todo lo demás, como las computadoras portátiles y teléfonos inteligentes típicos, 16 GB verdaderamente lo está cortando aceptablemente, ya que incluso necesita espacio para el sistema operante y las aplicaciones. Según mi experiencia, se requiere 24 GB de RAM; Mi computadora portátil de Surface de séptima engendramiento, completa con un procesador Snapdragon X y 16 GB de RAM, trabajó en un tokens de 10 abriles harto moderado por segundo, pero escasamente se mantiene incluso con cualquier otra aplicación cerrada.

Por supuesto, con 24 GB de RAM siendo ideal, la gran mayoría de los teléfonos inteligentes no pueden ejecutarlo. Incluso líderes de IA como el Pixel 9 Pro XL y Galaxy S25 Reaccionario Top Out a 16 GB de RAM, y no todo eso es accesible. Por fortuna, mi Rog Phone 9 Pro tiene un colosal 24 GB de RAM, suficiente para comenzar.

Para mi primer intento de ejecutar GPT-OSS en mi teléfono inteligente Android, recurrí a la creciente selección de aplicaciones LLM que le permiten ejecutar modelos fuera de sarta, incluidos PocketPal AI, Pira Chat y LM Playground.

Sin requisa, estas aplicaciones no tenían el maniquí apto o no pudieron cargar con éxito la lectura descargada manualmente, posiblemente porque se basan en una lectura previo de Pira.cpp. En cambio, inicié una partición de Debian en el ROG e instalé Ollama para manejar la carga e interactuar con GPT-OSS. Si quieres seguir los pasos, hice lo mismo con Deepseek a principios de año. El inconveniente es que el rendimiento no es del todo nativo, y no hay precipitación de hardware, lo que significa que depende de la CPU del teléfono para hacer el trabajo pesado.

Entonces, ¿qué tan aceptablemente se ejecuta GPT-OSS en un teléfono inteligente Android de primer nivel? Al punto que es la palabra generosa que usaría. El Snapdragon 8 Elite del ROG puede ser poderoso, pero no está cerca del Snapdragon X de mi computadora portátil, y mucho menos una GPU dedicada para el aumento de los datos.

La tasa de tokens (la velocidad a la que se genera el texto en la pantalla) es escasamente pasable y ciertamente más lenta de lo que puedo descifrar. Estimaré que está en la región de 2-3 tokens (aproximadamente una palabra más o menos) por segundo. No es del todo terrible para solicitudes cortas, pero es agonizante si quieres hacer poco más confuso que saludar. Desafortunadamente, la tasa de tokens solo empeora a medida que aumenta el tamaño de su conversación, y finalmente tarda varios minutos en producir incluso un par de párrafos.

Obviamente, las CPU móviles verdaderamente no están construidas para este tipo de trabajo, y ciertamente no modelos que se acercan a este tamaño. El ROG es un comediante nippy para mis cargas de trabajo diarias, pero se maximizó aquí, lo que provocó que siete de los ocho núcleos de CPU funcionen al 100% casi constantemente, lo que resultó en un auricular harto incómodo luego de solo unos minutos de charla. Las velocidades del cronómetro se aceleraron rápidamente, lo que hace que las velocidades de token caigan aún más. No es formidable.

Con el maniquí cargado, los 24 GB del teléfono incluso se estiraron, con el sistema operante, las aplicaciones de fondo y la memoria adicional requerida para el aviso y las respuestas que compiten por el espacio. Cuando necesitaba entrar y salir de las aplicaciones, pude, pero esto ya llevó una engendramiento de token lenta a un punto muerto posible.

Ejecutar GPT-oss en su teléfono inteligente está harto fuera de discusión, incluso si tiene un gran colección de RAM para cargarlo. Los modelos externos dirigidos principalmente a la comunidad de desarrolladores no admiten NPU y GPU móviles. La única forma de evitar ese obstáculo es que los desarrolladores aprovechen los SDK patentados como el AI SDK de Qualcomm o el ML central de Apple, que no sucederá para este tipo de caso de uso.

Aún así, estaba decidido a no rendirme y probar GPT-OSS en mi PC envejecida, equipado con un GTX1070 y 24 GB de RAM. Los resultados fueron definitivamente mejores, de en torno a de cuatro a cinco tokens por segundo, pero aún más tranquilo que mi computadora portátil Snapdragon X que se ejecuta solo en la CPU, yikes.

En uno y otro casos, la lectura de parámetros 20B de GPT-OSS ciertamente parece impresionante (luego de esperar un tiempo), gracias a su prisión de razonamiento configurable que permite al maniquí “pensar” por más tiempo para ayudar a resolver problemas más complejos. En comparación con las opciones gratuitas como Gemini 2.5 Flash de Google, GPT-OSS es el solucionador de problemas más capaz gracias al uso de la prisión de pensamiento, al igual que Deepseek R1, que es aún más impresionante donado que es de gorra. Sin requisa, todavía no es tan poderoso como los modelos más poderosos y caros basados en la abundancia, y ciertamente no funciona tan rápido en cualquier dispositivo de consumo que poseo.

Aún así, el razonamiento progresista en la palma de su mano, sin el costo, las preocupaciones de seguridad o los compromisos de la red de los modelos de suscripción actuales, es el futuro de IA que creo que las computadoras portátiles y los teléfonos inteligentes verdaderamente deberían apuntar. Claramente hay un dilatado camino por recorrer, especialmente cuando se negociación de la precipitación de hardware convencional, pero a medida que los modelos se vuelven más inteligentes y más pequeños, ese futuro se siente cada vez más tangible.

Algunos de mis teléfonos inteligentes insignia han demostrado ser razonablemente expertos en ejecutar modelos de parámetros más pequeños como Qwen 2.5 y Pira 3, con resultados sorprendentemente rápidos y poderosos. Si alguna vez vemos una lectura igualmente rápida de GPT-OSS, estaría mucho más emocionado.