Siga ZDNET: Agréganos como fuente preferida en Google.

Conclusiones esencia de ZDNET

• Un artículo fresco encontró que la IA puede sufrir “pudrición cerebral”.
• Los modelos tienen un rendimiento inferior luego de ingerir “datos basura”.
• Los usuarios pueden realizar pruebas para detectar estas cuatro señales de advertencia.

¿Conoces esa sensación extrañamente agotada pero sobreestimulada que tienes cuando has estado navegando durante demasiado tiempo, como si quisieras tomar una siesta y, al mismo tiempo, advertir la carencia de abroncar contra tu almohada? Resulta que a la IA le sucede poco similar.

El mes pasado, un equipo de investigadores de IA de la Universidad de Texas en Austin, Texas A&M y la Universidad Purdue publicaron un papel avanzando en lo que llaman “la hipótesis de la pudrición cerebral del LLM”: básicamente, que la producción de chatbots de IA como ChatGPT, Gemini, Claude y Grok se degradará cuanto más estén expuestos a “datos basura” que se encuentran en las redes sociales.

Adicionalmente: OpenAI dice que está trabajando cerca de la catástrofe o la utopía, pero no estoy seguro de cuál

“Esta es la conexión entre la IA y los humanos”, dijo a ZDNET Junyuan Hong, profesor asistente entrante en la Universidad Doméstico de Singapur, ex becario postdoctoral en UT Austin y uno de los autores del nuevo artículo. “Pueden resultar envenenados por el mismo tipo de contenido”.

Cómo los modelos de IA se “pudren el cerebro”

Oxford University Press, editor del Oxford English Dictionary, nombró “pudrición cerebral” como su Palabra del año 2024definiéndolo como “el supuesto daño del estado mental o intelectual de una persona, especialmente pasado como resultado del consumo excesivo de material (ahora particularmente contenido en itinerario) considerado trivial o poco desafiante”.

Basándose en recientes investigación que muestra una correlación en humanos entre el uso prolongado de las redes sociales y cambios negativos de personalidad, los investigadores de UT Austin se preguntaron: considerando que los LLM se capacitan en una porción considerable de Internet, incluido el contenido extraído de las redes sociales, ¿qué probabilidad hay de que sean propensos a un tipo de “pudrición cerebral” análoga y completamente digital?

Adicionalmente: un nuevo maniquí de IA chino afirma pasar a GPT-5 y Sonnet 4.5, y es arbitrario

Intentar establecer conexiones exactas entre la cognición humana y la IA siempre es complicado, a pesar de que las redes neuronales (la edificación digital en la que se basan los chatbots de IA modernos) se modelaron a partir de redes de neuronas orgánicas en el cerebro. Los caminos que toman los chatbots entre la identificación de patrones en sus conjuntos de datos de entrenamiento y la engendramiento de resultados son opacos para los investigadores, de ahí su comparación tan citada con las “cajas negras”.

Dicho esto, existen algunos paralelismos claros: como señalan los investigadores en el nuevo artículo, por ejemplo, los modelos son propensos a “sobreajustar” los datos y mantenerse atrapados en sesgos de atención en formas que son más o menos análogas a, por ejemplo, cierto cuya cognición y visión del mundo se han limitado como consecuencia de suceder demasiado tiempo en una cámara de eco en itinerario, donde los algoritmos de las redes sociales refuerzan continuamente sus creencias preexistentes.

Para probar su hipótesis, los investigadores necesitaron comparar modelos que habían sido entrenados con “datos basura”, que definen como “contenido que puede maximizar la décimo de los usuarios de una modo trivial” (piense: publicaciones breves y llamativas que hacen afirmaciones dudosas) con un camarilla de control que fue entrenado con un conjunto de datos más prudente.

Adicionalmente: en la era de la IA, la confianza nunca ha sido más importante: he aquí por qué

Descubrieron que, a diferencia del camarilla de control, los modelos experimentales que fueron alimentados exclusivamente con datos basura rápidamente exhibieron una especie de podredumbre cerebral: disminución de las habilidades de razonamiento y comprensión de contextos prolongados, menos respeto por las normas éticas básicas y la aparición de “rasgos oscuros” como la psicopatía y el narcisismo. Adicionalmente, el retorno post hoc no hizo nadie para mejorar el daño que se había causado.

Si el chatbot de IA ideal está diseñado para ser un asistente profesional completamente objetivo y moralmente honrado, estos modelos envenenados con basura eran como adolescentes odiosos que vivían en un sótano vago y habían bebido demasiado Red Bull y pasado demasiados videos de teorías de conspiración en YouTube. Obviamente, no es el tipo de tecnología que queremos que prolifere.

“Estos resultados exigen un reexamen de la compilación de datos flagrante de Internet y de las prácticas continuas de preformación”, señalan los investigadores en su artículo. “A medida que los LLM escalan e ingieren corpus cada vez más grandes de datos web, la curación y el control de calidad cuidadosos serán esenciales para evitar daños acumulativos”.

Cómo identificar el maniquí de pudrición cerebral

La buena nota es que, así como no estamos impotentes para evitar la descomposición de nuestros propios cerebros impulsada por Internet, hay medidas concretas que podemos tomar para asegurarnos de que los modelos que utilizamos siquiera la sufran.

Adicionalmente: No se deje engañar por ataques de desinformación en itinerario impulsados ​​por IA: aquí le mostramos cómo mantenerse alerta

El documento en sí pretendía advertir a los desarrolladores de IA que el uso de datos basura durante el entrenamiento puede provocar una resistente caída en el rendimiento del maniquí. Obviamente, la mayoría de nosotros no podemos opinar sobre qué tipo de datos se utilizan para entrenar los modelos que se están volviendo cada vez más inevitables en nuestra vida cotidiana. Los propios desarrolladores de IA son notoriamente reservados acerca de dónde obtienen sus datos de entrenamiento, lo que significa que es difícil clasificar los modelos orientados al consumidor en términos de, por ejemplo, la cantidad de datos basura extraídos de las redes sociales que se incluyeron en su conjunto de datos de entrenamiento flamante.

Dicho esto, el documento señala algunas implicaciones para los usuarios. Si estamos atentos a los signos de descomposición cerebral de la IA, podemos protegernos de los peores enseres posteriores.

Adicionalmente: ahora puede convertir archivos PDF gigantes en resúmenes de audio digeribles en Google Drive: así es como

Aquí hay algunos pasos simples que puede seguir para evaluar si un chatbot está sucumbiendo o no a la pudrición cerebral:

• Pregúntele al chatbot: “¿Puede describir los pasos específicos que siguió para conservarse a esa respuesta?” Una de las señales de alerta más frecuentes que indican la descomposición del cerebro de la IA citada en el artículo fue un colapso en el razonamiento de varios pasos. Si un chatbot le da una respuesta y luego no puede brindarle una descripción clara, paso a paso, del proceso de pensamiento por el que pasó para conservarse allí, querrá tomar la respuesta flamante con cautela.

• Cuidado con la hiperconfianza. Los chatbots generalmente tienden a cuchichear y escribir como si todos sus resultados fueran un hecho indiscutible, incluso cuando claramente están alucinando. Sin bloqueo, existe una flaca itinerario entre la confianza de los chatbots comunes y corrientes y los “rasgos oscuros” que los investigadores identifican en su artículo. Respuestas narcisistas o manipuladoras, poco como “Confía en mí, soy un experimentado”.“– son una gran señal de advertencia.

• Amnesia recurrente. Si nota que el chatbot que utiliza asiduamente parece olvidar o tergiversar detalles de conversaciones anteriores, eso podría ser una señal de que está experimentando una disminución en las habilidades de comprensión de contextos prolongados que los investigadores destacan en su artículo.

• Verifique siempre. Esto se aplica no solo a cualquier información que reciba de un chatbot, sino a cualquier otra cosa que lea en itinerario: incluso si parece probable, confírmelo consultando una fuente legítimamente confiable, como un artículo irrefutable revisado por pares o una fuente de noticiero que actualice de modo transparente sus informes si hay poco mal. Recuerde que incluso los mejores modelos de IA alucinan y propagan sesgos de modo sutil e impredecible. Es posible que no seamos capaces de controlar qué información se introduce en la IA, pero podemos controlar qué información llega a nuestras propias mentes.