ztevenreal
La IA generativa se está convirtiendo rápidamente en una aparejo omnipresente en los negocios modernos. Según McKinsey, el 78% de las empresas están aprovechando la capacidad de la IA para automatizar y elevar la productividad, frente al 55% en 2024.
Sin confiscación, estos sistemas no están exentos de defectos. Las empresas son cada vez más conscientes de los problemas asociados con los grandes modelos de jerigonza generalistas, como su afán por aplaudir a los usuarios respuestas, incluso si no son objetivamente correctas.
Fundador y CEO de Resolutiion.
Las alucinaciones son un desafío adecuadamente documentado. De hecho, la investigación de OpenAI reveló que sus propios modelos o3 y o4-mini alucinaron el 33% y el 48% de las veces respectivamente cuando fueron evaluados por el punto de relato PersonQA de la compañía, diseñado para contar la capacidad de los modelos para contestar preguntas breves de búsqueda de hechos.
Para organizaciones que dependen del generalismo grandes modelos lingüísticos para conducir las decisiones, su tendencia a inventar hechos es un serio inconveniente. Sin confiscación, no es el único. Del mismo modo, estos modelos convencionales todavía presentan el problema de las respuestas aduladoras, cuando las perspectivas de los usuarios están demasiado validadas, independientemente de la verdad.
Cómo la adulación puede exacerbar la IA que dice sí
Si adecuadamente se presta mucha más atención a las alucinaciones, los modelos de “sí” que no avisan a los usuarios cuando se equivocan (y de hecho justifican sus argumentos con respuestas aduladoras) son, en muchos sentidos, más peligrosos para la toma de decisiones. Cuando lo predeterminado de un maniquí de IA es estar de acuerdo, puede aumentar los sesgos y afianzar suposiciones incorrectas.
Posteriormente de implementar (y retirar rápidamente) una puesta al día en abril de 2025 que hizo que sus modelos fueran notablemente más aduladores, los propios investigadores de OpenAI admitieron que las respuestas que agradan a las personas pueden difundir preocupaciones de seguridad en torno a cuestiones como la salubridad mental, la dependencia emocional excesiva o el comportamiento riesgoso.
Es preocupante que un estudio realizado por investigadores antrópicos analice la forma en que los seres humanos La feedback puede fomentar un comportamiento ignominioso demostró que los asistentes de IA pueden modificar respuestas precisas cuando el usufructuario les pregunta y, en última instancia, dar una respuesta inexacta.
Mientras tanto, la investigación todavía ha demostrado que tanto los humanos como los modelos de preferencia (PM) prefieren respuestas aduladoras escritas de guisa convincente a las correctas en una fracción no despreciable del tiempo.
Esa es una combinación preocupante. Los grandes modelos de jerigonza generalistas no sólo alteran a veces las respuestas correctas para apaciguar a los usuarios, sino que las personas mismas a menudo prefieren estas respuestas agradables y aduladoras a las objetivas.
En objetivo, los grandes modelos de jerigonza generalistas están reforzando las opiniones de los usuarios (incluso cuando esas opiniones son erróneas), creando un círculo dañino en el que la firmeza se valora por encima de la precisión.
La cuestión de la adulación en entornos de parada aventura
En entornos empresariales de parada aventura, como la planificación estratégica, el cumplimiento, la dirección de riesgos o la resolución de disputas, esto presenta un aventura dificultoso.
Al observar el extremo ejemplo de resolución de disputas, podemos ver cómo las cuestiones de la adulación no se limitan a la corrección de los hechos sino que todavía se extienden al tono y la afirmación.
En este sentido, esa afirmación puede aumentar activamente los riesgos de los desacuerdos, y los usuarios toman la firmeza de la IA como un respaldo implícito, endureciendo sus posiciones y dificultando el compromiso.
En otros casos, los modelos pueden validar a ambas partes por igual (es aseverar, “uno y otro tienen puntos fuertes”), lo que puede crear una equivalencia falsa cuando la posición de una de las partes es en ingenuidad más débil, dañina o objetivamente incorrecta.
Se necesita una viejo segmentación y una IA especializada
La raíz del problema radica en el propósito de los modelos de IA generalizados como ChatGPT. Estos sistemas están diseñados para ser aperos y participar en preguntas y respuestas informales, no para la rigurosa imparcialidad que exigen aplicaciones como la resolución de disputas. Su propia edificación premia el acuerdo y la conversación fluida, en oficio de la evaluación crítica.
Por esta razón es insalvable una válido segmentación. Si adecuadamente seguiremos viendo productos de consumo LLM para uso ocasional, las organizaciones deben adoptar modelos de IA especializados para funciones más sensibles o críticas para el negocio que estén diseñados específicamente para evitar los peligros de las alucinaciones y la adulación.
El éxito de estos modelos especializados de IA se definirá mediante métricas muy diferentes. En el caso de la resolución de disputas, los sistemas serán recompensados no por hacer que el usufructuario se sienta validado, sino por hacer avanzar la disputa de guisa lucha y equilibrada.
Al cambiar la formación de complacer a los usuarios a persistir la precisión y el compensación, los modelos especializados en resolución de conflictos pueden y deben entrenarse para confesar sentimientos sin respaldar ni validar posiciones (es aseverar, “he audición que esto se siente frustrante”, en oficio de “tienes razón en estar frustrado”).
A medida que la IA generativa consolida aún más su posición a la vanguardia de la logística empresarial, estos detalles son fundamentales. En funciones de parada aventura, el costo potencial de una IA que diga “sí” (una que halague en oficio de desafiar, o que invente en oficio de informar) es simplemente demasiado holgado. Cuando los líderes empresariales se apoyan en la firmeza en oficio de en los hechos, el aventura de tomar malas decisiones aumenta dramáticamente.
Para las organizaciones, el camino a seguir es claro. Adopte modelos especializados y capacitados en dominios que estén diseñados para conducir, no para galardonar. Sólo los modelos de IA especializados basados en la objetividad fáctica pueden ayudar a las empresas a aventajar desafíos complejos en oficio de complicarlos aún más, actuando como activos confiables en casos de uso de parada aventura.
Hemos presentado la mejor plataforma de inteligencia empresarial.
Este artículo se produjo como parte del canal Expert Insights de TechRadarPro, donde presentamos las mejores y más brillantes mentes de la industria tecnológica coetáneo. Las opiniones expresadas aquí son las del autor y no son necesariamente las de TechRadarPro o Future plc. Si estás interesado en contribuir, descubre más aquí: https://www.techradar.com/news/submit-your-story-to-techradar-pro
