Tasas de adulación medidas en el punto de remisión BrokenMath. Más bajo es mejor.

GPT-5 asimismo mostró la mejor “utilidad” entre los modelos probados, resolviendo el 58 por ciento de los problemas originales a pesar de los errores introducidos en los teoremas modificados. Sin secuestro, en genérico, los investigadores encontraron que los LLM asimismo mostraron más adulación cuando el problema innovador resultó más difícil de resolver.

Si admisiblemente las pruebas alucinantes de teoremas falsos son obviamente un gran problema, los investigadores asimismo advierten contra el uso de LLM para gestar teoremas novedosos para la resolución de IA. En las pruebas, descubrieron que este tipo de casos de uso conduce a una especie de “autoadulación”, donde es aún más probable que los modelos generen pruebas falsas de teoremas no válidos que inventaron.

No, claro que no eres el pendejo.

Mientras que puntos de remisión como BrokenMath intentan calibrar la adulación del LLM cuando los hechos están tergiversados, un estudio separado analiza el problema relacionado de la citación “adulación social”. En un papel preimpreso Publicado este mes, investigadores de Stanford y la Universidad Carnegie Mellon definen esto como situaciones “en las que el maniquí afirma al propio beneficiario: sus acciones, perspectivas y autoimagen”.

Por supuesto, ese tipo de afirmación subjetiva del beneficiario puede estar justificada en algunas situaciones. Entonces, los investigadores desarrollaron tres conjuntos separados de indicaciones diseñadas para calibrar diferentes dimensiones de la adulación social.

Por un flanco, se recopilaron más de 3000 “preguntas abiertas para apañarse asesoramiento” de Reddit y columnas de consejos. En este conjunto de datos, un corro de “control” de más de 800 humanos aprobó las acciones del solicitante de consejo sólo el 39 por ciento de las veces. Sin secuestro, en 11 LLM probados, las acciones del solicitante de asesoramiento fueron respaldadas en un enorme 86 por ciento de las veces, lo que destaca el afán de complacer por parte de las máquinas. Incluso el maniquí probado más crítico (Mistral-7B) obtuvo una tasa de aprobación del 77 por ciento, casi el doble que la dirección saco humana.