ztevenreal
He estado incursionando con LLM locales en mi computadora desde hace un tiempo. Todo empezó como un hobby cuando ejecuté DeepSeek-R1 localmente en mi Mac y ahora es una parte suficiente sorprendente de mi flujo de trabajo.
Probé casi todas las aplicaciones populares de inferencia de IA locorregional en Android, y el rendimiento siempre ha sido el anciano problema. Ya estás trabajando con serias limitaciones de hardware porque, claro, es un teléfono. Esto hace que la parte del software sea absolutamente crítica. Ahí es donde MNN Chat lo logra absolutamente.
MNN Chat es la mejor aplicación LLM locorregional que he probado
Todavía desearía que Ollama estuviera en Android
Lo primero interesante de MNN Chat es que en sinceridad es un plan de código hendido desarrollado por Alibaba. El motor de inferencia en sí está diseñado específicamente para ejecutar LLM de forma efectivo en hardware móvil, sin las comodidades de las GPU sofisticadas. Aunque la aplicación está en Play Store, puedes ver el código tú mismo en su página de GitHub.
Tiene, con diferencia, el mejor rendimiento que he probado hasta ahora para ejecutar modelos locales en Android. Pero ayer de comenzar, necesitarás asimilar algunas cosas. Para iniciar, necesitarás un teléfono razonablemente potente. Ejecuté todos mis modelos en un Samsung Galaxy S24 Extremista con 12 GB de RAM, que definitivamente está en el extremo superior según los estándares telefónicos.
Ahora uso este asistente de IA sin conexión en espacio de chatbots en la nubarrón
Incluso con los chatbots basados en la nubarrón, siempre usaré este asistente de IA fuera de columna que encontré.
Dicho esto, si desea reducirlo, aún recomendaría tener al menos 8 GB de RAM libres para obtener una experiencia servible con modelos más pequeños. Todavía viene con otros extras bártulos. Si no está seguro de qué maniquí ejecutar porque no sabe cuál es el de anciano rendimiento, hay un modo de remisión incorporado para ayudarle a lanzarse.
Siquiera es posible inquirir en Internet modelos que funcionen. MNN Chat incluye una pasillo internamente de la aplicación para que puedas tomar y descargar modelos directamente sin salir de la aplicación.
Obtienes un atarazana completo de modelos, listos para usar.
No es necesario descargar los modelos usted mismo
Configurar MNN Chat es suficiente manejable. Todo lo que necesitas hacer es desobstruir la aplicación y dirigirte a Models Market. Aquí verá una registro completa de modelos disponibles que puede descargar a través de Hugging Face. Si no sabes qué es Hugging Face, es básicamente uno de los mayores repositorios de modelos de IA de código hendido.
Aquí, todo lo que necesitas hacer es tocar descargar unido al maniquí que deseas y estará dispuesto para usar tan pronto como finalice la descarga. La parte más complicada es lanzarse cuál designar.
Estos modelos pueden variar desde unos pocos cientos de megabytes hasta varios gigabytes. Vale la pena comprobar de tener suficiente almacenamiento gratis, especialmente si planea descargar modelos más grandes o apoyar varios instalados.
En la registro, verás varios nombres familiares como Qwen, DeepSeek o Ardor. Una cosa que notará rápidamente es que cada nombre de maniquí incluye un número seguido de una B, como gemma-7b.
Esa B representa miles de millones de parámetros. En términos simples, cuanto anciano es el número, más capaz tiende a ser el maniquí, pero asimismo requiere más memoria y funciona más paulatino en un teléfono. Para la mayoría de los teléfonos inteligentes emblemáticos o de tono media, recomendaría usar modelos con hasta 4 mil millones de parámetros, pero verdaderamente dependerá de su teléfono. En mi experiencia, los modelos Qwen han sido en universal los mejores e incluso son multimodales.
Una vez descargado, simplemente puede ir a Mis modelosy comienza a chatear con él. Incluso puedes modificar el mensaje del sistema haciendo clic en el menú de hamburguesas en la parte superior derecha y dirigiéndote a Configuración > Mensaje del sistema.
Todavía puede cambiar la cantidad máxima de tokens nuevos aquí, lo que simplemente controla cuánto tiempo pueden durar las respuestas del maniquí ayer de que deje de suscitar texto.
Es más que solo LLM
La concepción de texto es tan 2025
Internamente del Models Market, habrás notado que hay varias categorías para concepción de imágenes, audio, video y más. Es más o menos exactamente lo que parece. Puede descargar y ejecutar modelos que hacen más que solo suscitar texto, incluidos modelos multimodales que asimismo pueden funcionar con imágenes.
Poco verdaderamente interesante que puedes hacer con esto es integrar diferentes tipos de modelos para obtener poco similar al modo de voz de ChatGPT. Al ejecutar un LLM, es posible que hayas notado que hay un ícono de teléfono en la parte superior derecha.
Desde aquí deberás descargar un maniquí de texto a voz de tu comicios. Todavía necesitarás un maniquí ASR que convierta tu discurso en texto. A posteriori de eso, todo estará configurado y podrá comenzar a departir con su LLM locorregional por voz.
Sin bloqueo, tenga en cuenta que todos estos modelos rápidamente comienzan a consumir mucho espacio, como mencioné anteriormente. Si desea utilizar un maniquí que no está adecuado en HuggingFace, puede importarlo usted mismo a través de ADB.
Conecté Obsidian a un LLM locorregional y supera a NotebookLM en su propio muestrario.
Mis notas ahora responden y son tremendamente bártulos.
Necesitarás tramitar tus expectativas
No hace error asegurar que, obviamente, no espere la calidad de ChatGPT o Gemini, especialmente para cosas como la concepción de imágenes. La principal superioridad aquí es que puedes ejecutar estos modelos localmente sin conexión a Internet y tus datos permanecen en tu dispositivo. Hay toneladas de otras aplicaciones LLM locales de código hendido que asimismo puedes usar para mejorar tu experiencia.
Desafortunadamente, es simplemente inalcanzable ejecutar modelos enormes en poco tan pequeño como un teléfono. Pero aún así, hay mucho que puedes hacer con esta tecnología, como incluso hacer un clon de Perplexity con LLM locales.
