IBM lanzó recientemente sus modelos Granite 4.0 Nano AI que, al igual que los chatbots de IA en iPhones, puedes ejecutar localmente en tu navegador web. Los cuatro nuevos modelos, que van desde 350 millones a 1,5 mil millones de parámetros, son lo suficientemente pequeños como para cargarlos directamente en su navegador web sin penuria de un servidor, tarifas de suscripción o conexión a Internet. Poliedro que estos chatbots se ejecutan localmente y sin conexión, mantienen privada cada conversación y los datos permanecen en su dispositivo.

Los chatbots de IA populares como ChatGPT, Gemini y Claude, así como otras alternativas, requieren una gran infraestructura en la nimbo, servidores y conectividad a Internet. Ejecutar los modelos de IA comprimidos de IBM localmente en su navegador web es sencillo. Para los modelos Granite 4.0 Nano AI, todo lo que necesita es una computadora portátil o de escritorio con al menos 8 GB de RAM y un navegador competente para WebGPU como Chrome o Edge. IBM ha enérgico modelos Granite 4.0 Nano en diferentes tamaños y arquitecturas, incluidos Granite-4.0-H-1B (1.500 millones de parámetros), Granite-4.0-H-350M (350 millones de parámetros), Granite-4.0-1B y Granite-4.0-350M. Todos los modelos cuentan con una inmueble híbrida Mamba/transformador que Estados de IBM “reduce los requisitos de memoria sin matar el rendimiento”.

Para un mejor razonamiento y respuestas, puede utilizar el maniquí más ilustre con 1.500 millones de parámetros, pero requeriría una GPU dedicada con al menos 6-8 GB de VRAM adicional. Necesitará una conexión a Internet para descargar un maniquí, pero a posteriori de la configuración, el maniquí de IA se ejecuta sin conexión. Para utilizar los chatbots de IBM en su navegador, verifique si su navegador está actualizado. Una vez hecho esto, visite HuggingFace. Aquí puedes separar un maniquí y descargarlo. Una vez cargado, puede comenzar a usarlo para tareas como escribir código, resumir documentos y redactar correos electrónicos.

Los modelos Nano de IBM son pequeños, pero según la compañía, superan su peso. Los chatbots de IA basados ​​en la nimbo, como ChatGPT y Claude, utilizan grandes modelos de verbo (LLM) que contienen miles de millones de parámetros, que exigen mucha potencia informática para procesar y ocasionar respuestas. Estos parámetros definen cómo un maniquí procesa la información y genera una respuesta.

En común, un longevo número de parámetros significa que un LLM es mejor en el razonamiento. Sin incautación, la calidad de la respuesta incluso depende de la inmueble, los datos de entrenamiento y cómo se optimiza un maniquí. Ejecutar un chatbot de IA localmente tiene varias ventajas. Sus datos no se almacenan en ningún servidor y es una aparejo gratuita frente a los $ 20 por mes que los usuarios pagan por servicios como ChatGPT Plus o Gemini Pro. Por otra parte, el retraso en la respuesta es insignificante con los modelos de IA locales porque no requieren una conexión a Internet ni un servidor para procesar las solicitudes.

Incluso hay algunas compensaciones. Granite Nano de IBM es competitivo con otros modelos de IA en rangos de parámetros similares y puede manejar tareas sencillas, pero no puede reemplazar ni competir con los LLM, como GPT-4 o Claude. Las respuestas de estos modelos más pequeños suelen ser más breves y es posible que no ofrezcan un razonamiento profundo como lo hacen los modelos más grandes. Los modelos más pequeños incluso tienen dificultades con entradas largas y no pueden despabilarse en la web ni aceptar a información más allá de sus datos de entrenamiento. Los modelos de IA comprimidos de IBM son efectos si desea una aparejo personalizada para tareas específicas. Estos modelos de IA se pueden utilizar para muchas tareas, como escribir correos electrónicos o resumir documentos, pero para razonar mejor, deberá considerar los LLM regulares.