ztevenreal
Si tiene un servidor en casa, es muy probable que tenga una GPU, ya sea una plástico de placer antigua o una plástico de bajo consumo que solo se usa como salida de pantalla. Independientemente del tipo de plástico discreta que sea, es muy probable que en verdad esté haciendo muy poco.
Las GPU pueden ser increíblemente valiosas en los servidores, pero solo si las consideras aceleradores en división de la potencia principal. Las GPU modernas son excelentes en un puñado de tareas muy específicas que aparecen constantemente en los servidores domésticos: procesamiento de video, cargas de trabajo paralelas, ráfagas breves de computación pesada y algunas cargas de trabajo de virtualización para las que las CPU simplemente no están diseñadas.
Utilicé una vieja computadora portátil para juegos como servidor doméstico y supera a la mayoría de las mini PC de nivel primordial
Mi anticuado portátil titán asimismo funciona como un potente nodo de servidor
Tu GPU está infrautilizada
Está absorbiendo vatios inactivos
En un servidor doméstico distintivo, la CPU hace casi todo. El servicio de archivos, los contenedores, las máquinas virtuales, las bases de datos y las copias de seguridad son trabajos de la CPU. La GPU permanece inactiva a menos que esté conectado a un maestro o realizando una transferencia de hardware para una VM. Incluso entonces, su uso probablemente sea, en el mejor de los casos, esporádico. Las GPU están diseñadas para realizar tareas paralelas masivas muy rápidamente, y los servidores domésticos generalmente no tienen muchas tareas de este tipo.
4 formas en las que uso mi GPU para poco más que juegos (y no, no es IA)
Por último, he estado usando menos mi GPU para envidiar
La transcodificación es de gran utilidad
Las GPU sobresalen aquí
La transcodificación de vídeo es una de las mejores y más prácticas formas de utilizar una GPU en su servidor doméstico. Es uno de los ejemplos más claros de una GPU que hace exactamente aquello para lo que fue diseñada, ya que tiene partes de su hardware dedicadas a la transcodificación de vídeo. Cuando transmite medios desde poco como Plex o Jellyfin, es posible que el servidor necesite convertir un video sobre la marcha para que coincida con el dispositivo que está viendo. Diferentes resoluciones, códecs, velocidades de bits y HDR pueden requerir transcodificación para mostrarse correctamente en el otro extremo.
Hacer esto en la CPU funciona, pero es ineficiente. La transcodificación de la CPU consume mucha energía, reduce el rendimiento de otros servicios y escalera mal una vez que se tienen múltiples transmisiones. Una GPU, por el contrario, puede manejar múltiples transcodificaciones de hardware con una sobrecarga mínima, a menudo sin al punto que registrar la carga normal del sistema. Esto le brinda más transmisiones, pero asimismo una beocio carga de CPU, por lo que puede concentrarse en otras tareas del servidor que una GPU no puede manejar.
Convertí una GPU muerta en un codificador de hardware y es valentísimo para mi NAS
Desperdicio no quiero no
IA autohospedada
Un esfuerzo que vale la pena
Cuando las personas escuchan “IA en un servidor”, a menudo se imaginan entrenando modelos masivos o ejecutando GPU al 100% de carga las 24 horas del día, y la verdad es que eso no es lo que hacen la mayoría de los usuarios domésticos. La parte útil de la IA autohospedada para principiantes es la inferencia, no el entrenamiento.
La inferencia es el acto de ejecutar un maniquí ya entrenado para hacer poco, como resumir texto, etiquetar fotografías, transcribir audio, contestar preguntas o averiguar documentos. Estas cargas de trabajo son extremadamente compatibles con la GPU porque implican muchas matemáticas paralelas que finalizan rápidamente. Si desea meter un LLM circunscrito, la GPU de su servidor asimismo es increíblemente útil para eso, pero necesitará una cantidad sustancial de VRAM para manejar los modelos más grandes.
7 cosas que desearía memorizar cuando comencé a organizar mis LLM por mi cuenta
He organizado LLM por mi cuenta durante conveniente tiempo y estas son todas las cosas que aprendí con el tiempo y que desearía memorizar desde el principio.
Transferencia de GPU a máquinas virtuales
Útil para ejecutar otros sistemas operativos
La transferencia de GPU puede ser una forma efectivamente útil de utilizar una plástico gráfica discreta en su servidor. Personalmente, lo uso casi a diario. Mi sistema eficaz principal en estos días es CachyOS, que ha sido efectivamente refrescante, pero no ejecuta algunas de las aplicaciones que necesito para trabajar, como la suite de Adobe.
Como opción alternativa, ejecuto una máquina aparente con Windows 11 desde mi servidor con transferencia de GPU. Esto me permite obtener casi el mismo rendimiento que obtendría desde cero en aplicaciones como Premiere Pro y Photoshop, sin la exigencia de realizar un inicio dual en mi etapa de trabajo. Además podrías usar una configuración de paso similar para juegos livianos, pero en verdad es más capaz en un contexto de productividad.
Compré hardware empresarial usado y no me arrepiento en lo más insignificante
Los viejos sistemas de servidores son una aprobación para los laboratorios domésticos
A veces, tu CPU es más que suficiente
Los gráficos integrados pueden hacer mucho
Si aceptablemente es posible que no esté ejecutando grandes LLM ni realizando un trabajo manifiesto riguroso en una máquina aparente con gráficos integrados, puede hacer mucho con lo que hay en su CPU. Por ejemplo, las CPU Intel con iGPU tienen poco llamado Quick Sync, que maneja impresionantemente aceptablemente la transcodificación con códecs comunes. Necesitaría una carga de trabajo de transcodificación conveniente pesada para atascar una CPU Intel de los últimos abriles, por lo que si esa es la única carga de trabajo relacionada con la GPU que necesita, probablemente no necesite una GPU discreta en primer división.
5 características que siempre busco al comprar una placa colchoneta para mi servidor doméstico
No me molestaría en comprar una placa colchoneta de servidor si no incluye estas ingeniosas características
Una GPU de servidor puede ser una aparejo increíblemente poderosa si se utiliza correctamente
Si recién está instalado en su servidor y está realizando las tareas habituales del servidor doméstico, como transferir archivos, ejecutar servidores de juegos o ejecutar contenedores, es probable que no necesite una GPU discreta. Si desea utilizarlo, ejecutar una transcodificación pesada, una IA autohospedada o utilizar el paso a las máquinas virtuales pueden ser excelentes formas de certificar que no se desperdicie potencia.
