A pesar de sus capacidades de aislamiento inferior, los contenedores tienen un par de ventajas en comparación con las máquinas virtuales. A diferencia de las máquinas virtuales, son extremadamente livianos, por lo que puede ejecutar un puñado de contenedores en dispositivos débiles sin encontrar problemas de rendimiento. Compartir su maleable gráfica con contenedores todavía es mucho más practicable que hacerlo para sus homólogos de VM.

Esto se debe a que simplemente puede ocurrir la misma GPU a varios contenedores en ocupación de ocurrir por el dolor de persona de configurar VGPUS. La mejor parte? Encontrará varios contenedores Docker que pueden usar su maleable gráfica antigua para aumentar sus capacidades de procesamiento.

Ollama

E incluso difusión estable, para el caso

En ocupación de servir como un maniquí de idioma en sí, Ollama es una plataforma que le permite implementar, configurar y penetrar a una gran cantidad de LLM. Estos pueden variar desde modelos simples con algunos parámetros hasta LLM de inscripción abanico que requieren mucha potencia de procesamiento. Donado que puede implementar Ollama como un contenedor Docker, puede combinar una maleable gráfica con la utensilio para engrosar sus cargas de trabajo LLM.

Si le gusta difundir obras de arte de IA y no quiere luchar con los tokens limitados o la naturaleza intrusiva de la privacidad de los generadores de imágenes en recta, es posible que desee consultar la difusión estable. Si adecuadamente sus requisitos de VRAM son mucho más altos que los de Ollama, admite una gran cantidad de modelos, incluidas las que pueden ayudarlo a mejorar las imágenes de desvaloración resolución.

Celúla

Para mejorar sus capacidades de transcodificación

El panorama autohospedado está plagado de aplicaciones de servidores de medios, ya que Plex y Jellyfin son las opciones más populares entre los entusiastas del laboratorio en casa. Entre su interfaz de legatario ordenada y la desatiendo de registros obligatorios, Jellyfin tiene muchos puntos a su patrocinio. Sin confiscación, lo que en realidad lo hace mejor es que Jellyfin no oculta el soporte de transcodificación detrás de un pared de cuota.

Si su colección de medios es como la mía, probablemente tenga películas, programas de televisión y podcasts repartidos en una variedad de formatos de archivos, resoluciones y estándares de codificación. La transcodificación de hardware es una excelente guisa de eliminar la carga de procesamiento de la CPU, y ya he emparejado mi contenedor de gelatina con una GPU para evitar caídas aleatorias de cuadros y corrientes entrecortadas.

Inmacha

Para búsqueda inteligente y inspección facial

Con una interfaz que toma prestadas muchos utensilios de diseño de Google Photos, Immich es una excelente decisión autohospedada que le permite juntar y cuidar su colección de imágenes en máquinas locales. Su aplicación móvil, en particular, es especialmente útil, ya que le permite sincronizar todas sus capturas de pantalla, fotos y videos con su servidor privado Immich, lo que lo hace tan conveniente como la plataforma de Google, menos los problemas de privacidad y las tarifas de suscripción.

Immich admite un puñado de otras características ordenadas, que incluyen soporte para compartir, geocodificación inversa, etiquetas jerárquicas y perfiles de sidecar XMP. Mejor aún, incluso puede amplificar disposiciones de búsqueda inteligente y inspección facial a su contenedor Immich conectándolo a una maleable gráfica.

Fragata

Aumentar su destreza de enseñanza involuntario

Habiendo ido en biciclo entre MotionEye, Zoneminder, Nightwatcher y otras herramientas de NVR en el transcurso de mi alucinación de autohosting, siempre me combate volviendo a la fragata. Es proporcionado practicable de configurar, funciona con prácticamente cualquier dispositivo y tiene excelentes características de enseñanza involuntario, la mayoría de las cuales se pueden mejorar aún más con la destreza informática superior de una maleable gráfica.

Por otra parte de Ollama y la difusión estable, la fragata se beneficia más de una GPU, ya que su detección de movimiento, seguimiento de objetos, inspección facial y sinopsis generativo puede ser extremadamente intolerante para su procesador. Pero si encuentra que su GPU se extiende entre todos los servicios que he mencionado en esta repertorio, incluso puede ocurrir una TPU de coral o un acelerador de IA a su contenedor de fragatas y aún así esperar un rendimiento limpio en las tareas con mancuerna AI.

Puede emparejar aún más servicios con LLMS alojados localmente

Mientras estamos en el tema de las aplicaciones que pueden beneficiarse de las GPU, Karakeep, Paperless AI y el asistente de origen merecen un agradecimiento. Técnicamente, no requieren la GPU en sí, pero se pueden combinar con una instancia autohospedada de Ollama para mejorar sus capacidades de procesamiento.

Capaz de juntar todo, desde páginas web hasta archivos e imágenes PDF, Karakeep (o Hoarder, como se llamaba en el pasado) es un increíble administrador de marcadores que puede ejecutar en su máquina particular. Si tiene un servidor Ollama particular que se ejecuta en su laboratorio de inicio, puede combinarlo con Karakeep para utilizar los LLM para etiquetar automáticamente sus marcadores y crear resúmenes breves para ellos.

Mientras tanto, Paperless AI es una extensión para Paperless-NGX que puede usar LLM basados ​​en Ollama para mejorar la plataforma de papeleo de documentos todopoderoso. Mientras que Paperless-NGX admite OCR involuntario, su extensión AI agrega auto-etiquetado y clasificación de documentos a la plataforma. Todavía restablecimiento las capacidades de búsqueda de Paperless-NGX, lo que permite que la utensilio comprenda el contexto cuando búsqueda un documento, en ocupación de solo escanear para palabras secreto.

Todavía hay asistente de inicio, que puede usar sus Ollama LLMS para ayudarlo a controlar sus dispositivos inteligentes. Pero dudo un poco en mencionarlo en un artículo sobre contenedores. Verá, ejecutar el asistente de inicio interiormente de una máquina supuesto le brinda un mejor rendimiento y le permite penetrar a la tienda de complementos. Y estaríamos aquí todo el día si comenzara a dialogar sobre todas las cosas interesantes que puedes hacer al ocurrir una GPU a tus máquinas virtuales.