Prácticamente todas las herramientas de IA convencionales viven en la aglomeración y la forma de utilizarlas además es asaz sencilla. Simplemente escriba su mensaje o comando, transmítalo a los servidores de OpenAI, Google o Anthropic donde se ejecutan los modelos más avanzados y obtenga su respuesta. Si aceptablemente ese flujo de trabajo es ciertamente conveniente, además significa que sus indicaciones, documentos e información personal se envían a servidores de terceros. Encima, existe una dependencia constante de la conectividad a Internet. La mayoría de las veces no es una gran molestia, pero si tu conexión a Internet funciona de guisa irregular o si estás viajando, puede ser una molestia asaz pesado.

Como reparador de toda la vida, quería poco diferente. Quería un asistente de IA que se ejecutara en mi propia red, en un hardware sobre el que tuviera control total y, lo más importante, que no requiriera una suscripción para desbloquear la funcionalidad completa. Esa curiosidad me llevó a construir una pequeña configuración de IA específico usando Ollama y Open WebUI en una mini PC de $200. La idea era sencilla: ejecutar Ollama para manejar los LLM locales y exponerlos usando Open WebUI, que proporciona una interfaz basada en navegador muy frecuente.

Posteriormente de haberlo usado por un tiempo, me sorprende lo actos que es la configuración para resolver problemas reales en el uso diario.

No plazo por ChatGPT, Perplexity, Gemini o Claude; en su ocupación, me silencioso con mis LLM autohospedados

No tiene sentido servir de herramientas de inteligencia industrial cuando mis LLM locales pueden manejar todo

Ollama simplifica drásticamente la configuración de la IA específico

Comience con un solo comando

El anciano problema con la IA específico ha sido el proceso de configuración. No es particularmente difícil, pero lo describiría como tedioso. Ejecutar modelos de verbo a menudo significa altercar con conflictos de dependencia y configuración manual. Ollama simplifica drásticamente todo ese proceso. Ollama funciona como un tiempo de ejecución específico para modelos de verbo grandes, empaquetándolos de una guisa que hace que descargarlos e iniciarlos sea extremadamente manejable. Simplemente instala Ollama y selecciona los modelos que quieras probar.

Una vez que Ollama está en funcionamiento, un solo comando descarga una traducción optimizada y comienza a ejecutarla localmente. Ollama además expone una API específico que permite que otras herramientas se comuniquen con el maniquí como si fuera un servicio de IA remoto. He usado esta API para integrar Ollama con otras herramientas autohospedadas como Karakeep antiguamente. Ese pequeño detalle además convierte mi mini PC en poco más parecido a un servidor de IA completo.

Ahora, seamos claros: el hardware en sí no es particularmente poderoso. Estoy usando una pequeña mini PC x86 con un procesador modesto y solo 16 GB de RAM y sin GPU dedicada. Pero para el tipo de casos de uso que estoy analizando, eso no ha sido un impedimento. El mini PC puede manejar razonablemente aceptablemente los modelos modernos. Especialmente, los modelos optimizados como Claridad 3 y Mistral funcionan aceptablemente en este entorno. Usar Ollama para la tarea es atractivo porque hace que cambiar modelos sea igual de manejable. En caso de que uno no funcione como me gusta, puedo eliminarlo y descargar otro con un simple comando.

Open WebUI convierte un maniquí específico en un asistente útil

Una interfaz basada en navegador hace que la IA específico sea accesible para todos los dispositivos

Por más manejable que sea Ollama para ejecutar un LLM específico en su máquina, en sinceridad no proporciona una interfaz sencilla para usar el LLM. Ahí es donde interviene Open WebUI al proporcionar una interfaz de chat completa adicionalmente de Ollama. Se ejecuta como una aplicación web y se conecta directamente a los modelos que se ejecutan en su sistema. Una vez configurado, detecta automáticamente los modelos disponibles y me permite interactuar con ellos a través de una ventana del navegador, lo cual es una experiencia muy similar a usar un maniquí comercial como ChatGPT o Gemini.

Puede rajar una pestaña, designar un maniquí de la índice y comenzar a escribir su mensaje. El maniquí replica adentro de una conversación encadenada y su historial de chat permanece acondicionado para remisión posterior. Precisamente cómo funcionan las cosas con las soluciones comerciales. Cambiar entre modelos sólo requiere un clic, y es específicamente esta interfaz la que convierte la configuración en poco en realidad útil como opción diaria.

Transmitido que el LLM se ejecuta localmente en mi mini PC, puedo lograr al asistente de IA desde cualquier dispositivo de mi red. Mientras esté en mi red, puedo lograr a ella desde mi computadora de escritorio, mi computadora portátil o incluso mi teléfono sin carestia de instalar ningún software adicional.

Esta configuración además me brinda el beneficio de la privacidad. Los datos en realidad nunca salen de mi red porque el maniquí se ejecuta allí mismo en mi propio hardware. Por supuesto, el rendimiento varía asaz dependiendo del maniquí que esté ejecutando, y algunas tareas como la vivientes de imágenes son imposibles en mi humilde mini PC, pero siempre que mantengas tus expectativas bajo control, los modelos más pequeños se sienten lo suficientemente rápidos.

No puede reemplazar la IA en la aglomeración, pero aún así vale la pena un pequeño servidor de IA específico

Entre Ollama y Open WebUI, es sorprendente lo aceptablemente que se ha integrado esta pila en mi flujo de trabajo. La mini PC se ejecuta en segundo plano y actúa como un pequeño host de IA al que se puede lograr desde todos los dispositivos. Una vez que todo está configurado, se requiere muy poco mantenimiento o configuración continua, a menos que descargue modelos nuevos.

Seamos realistas: esta configuración no reemplaza por completo la IA en la aglomeración. La IA en la aglomeración es significativamente más rápida y capaz de realizar tareas como vivientes de imágenes y vivientes de videos que no se pueden realizar con modelos locales, especialmente en una mini PC. Pero para las tareas cotidianas como la diluvio de ideas, la corrección gramatical y los resúmenes, dispone de un asistente privado siempre acondicionado y completamente in situ.