Los LLM locales han estado pasando por un momento finalmente. Si pasa algún tiempo en comunidades de IA, a veces puede parecer que la nubarrón está a punto de desaparecer y que, en su motivo, todos deberían ejecutar sus propios modelos. Finalmente, asimismo puse en marcha mi propio LLM con LM Studio, y entiendo la apelación. No hay suscripciones ni límites de uso, usted es completamente dueño de todas las conversaciones y nunca pasan por los servidores de nadie más, adicionalmente, los corredores de modelos locales a menudo vienen con personalizaciones que los modelos en la nubarrón simplemente no tienen. Es comprensible ver por qué la muchedumbre lo prefiere.

Dicho esto, el uso diario de modelos locales para tareas reales me recordó que la nubarrón todavía tiene una superioridad suficiente ínclito en algunas áreas. Incluso los modelos abiertos fuertes pueden tener problemas con cosas que los modelos en la nubarrón manejan sin mucho esfuerzo. La brecha no siempre es obvia, pero puede aparecer cuando le arrojas poco engorroso o lo usas a desprendido plazo. Los LLM locales son poderosos y están mejorando rápidamente, pero aquí es donde he notado que la IA en la nubarrón todavía deseo…

Los modelos en la nubarrón son más accesibles

No hay barreras para iniciar

Creo que uno de los aspectos más importantes que impide que las personas realicen LLM por cuenta propia es la configuración. Parece más engorroso de lo que en realidad es, especialmente ahora que tenemos ejecutores gráficos como Ollama y LM Studio. Soy más un becario ocasional que técnico, y fue suficiente comprensible para mí configurarlo. Falta de esto es particularmente difícil una vez que entiendes cómo funciona, pero aun así crea fricciones: tienes que encontrar tus modelos favoritos, instalarlos, configurarlos y mantenerlos actualizados.

Con los LLM en la nubarrón, todo lo que necesita es una conexión a Internet y algunos modelos ni siquiera requieren una cuenta o registro. Simplemente visite la URL o descargue una aplicación y comience a solicitar información. Entonces el punto de entrada es mucho más comprensible. Otra gran superioridad de utilizar modelos en la nubarrón es que no es necesario considerar el aspecto del hardware. Cuando ejecuta un maniquí locorregional, sus especificaciones de repente importan, lo que lo hace menos accesible si su GPU o la memoria del sistema no pueden manejar modelos más grandes. Esto asimismo significa que la novelística de la “IA disponible” puede ser un poco engañosa; el costo simplemente pasa de una suscripción a la nubarrón al hardware.

Razonamiento más esforzado

Donde la IA en la nubarrón es aún más inteligente

Los modelos locales han mejorado mucho durante el final año en lo que respecta al razonamiento. Algunos modelos abiertos como Qwen2 y DeepSeek-R1 pueden manejar solicitudes sorprendentemente complejas, especialmente si ejecuta versiones más grandes de ellos. Para el uso diario, funcionan lo suficientemente proporcionadamente como para que la diferencia no sea tan obvia. Pero los LLM en la nubarrón todavía tienen actualmente una superioridad significativa en capacidades de razonamiento en bruto.

Modelos como Claude Opus y GPT-4o están entrenados en conjuntos de datos mucho más grandes en comparación con los modelos locales y están optimizados para examen de contexto a desprendido plazo. Esto suele aparecer en áreas como el razonamiento de varios pasos (deductivo, inductivo, abductivo, de sentido global, causa y emoción), problemas de método complicados, tareas de codificación complejas y escritura matizada. Parte de esto simplemente se reduce a la escalera. Los modelos de nubarrón se entrenan con mucha más computación, lo que restablecimiento su capacidad para suministrar el contexto en múltiples pasos de razonamiento. Asimismo se benefician de técnicas posteriores al entrenamiento más intensas, como el formación por refuerzo, que están diseñadas para hacer que el maniquí haga cosas como autocorregirse y suscitar múltiples soluciones.

En la actos, la diferencia suele reducirse a la legibilidad. Un maniquí de poco como Anthropic u OpenAI normalmente dividirá un problema engorroso en pasos claros y seguirá la método hasta la conclusión. Los modelos locales más pequeños intentarán el mismo razonamiento paso a paso, sólo que es más probable que se salten un paso o malinterpreten una restricción. Dependiendo de su maniquí, es posible que la brecha no se note con consultas simples.

Tienen ventanas de contexto más grandes.

Los modelos en la nubarrón pueden manejar más a la vez

Crédito:

La ventana de contexto es simplemente la cantidad máxima de texto que un LLM puede considerar a la vez, como una memoria de trabajo. Esto incluye el mensaje, los archivos que agregó, el historial de conversaciones y las respuestas del maniquí. Los modelos en la nubarrón tienen la superioridad en esta ámbito, una vez más, adecuado a las GPU con detención contenido de VRAM, mientras que los modelos locales están limitados por las GPU de consumo. Los modelos de nubarrón asimismo utilizan la optimización de inferencia LLM, que implica aspectos como la papeleo de gusto de títulos esencia, el escalado de GPU distribuido y la optimización de la atención.

Básicamente, en la actos, esto significa que los modelos en la nubarrón pueden simplemente manejar entradas mucho más grandes sin sudar. Puede cargar docenas de archivos PDF, pegar guiones completos o alentar mensajes de varias partes y aun así obtener respuestas coherentes. Los modelos locales alcanzan los límites mucho más rápido adecuado principalmente a limitaciones de hardware y complejidad computacional, y es posible que deba dividir consultas grandes en partes.

Lo locorregional tiene límites

Los LLM locales son ideales para la privacidad, la propiedad de datos y, potencialmente, para dosificar caudal, según el hardware con el que ya esté trabajando. Asimismo están mejorando en su razonamiento y ampliando sus ventanas de contexto. Todavía me gusta usar mi maniquí como parte de mi pila de investigación locorregional. Pero los modelos en la nubarrón tienen claras ventajas. Incluso si es sólo por el hecho de que son más fáciles de lograr y pueden inferir mejor el contexto, lo que los hace más accesibles para el becario promedio.