La aleatoriedad inherente a la procreación de texto de IA agrava este problema. Incluso con indicaciones idénticas, un maniquí de IA podría dar respuestas tenuemente diferentes sobre sus propias capacidades cada vez que lo solicite.

Otras capas incluso dan forma a las respuestas de IA

Incluso si un maniquí de idioma de alguna modo tuviera un conocimiento consumado de sus propios trabajos, otras capas de aplicaciones de chatbot de IA podrían ser completamente opacas. Por ejemplo, los asistentes de IA modernos como ChatGPT no son modelos individuales, pero sistemas orquestados De múltiples modelos de IA que trabajan juntos, cada uno en gran medida “inconsciente” de la existencia o capacidades de los demás. Por ejemplo, OpenAI usa separado capa de moderación Los modelos cuyas operaciones están completamente separadas de los modelos de jerigonza subyacentes que generan el texto saco.

Cuando le pregunta a ChatGPT sobre sus capacidades, el maniquí de idioma que genera la respuesta no tiene conocimiento de lo que podría aislar la capa de moderación, qué herramientas podrían estar disponibles en el sistema más amplio o qué procesamiento posterior podría ocurrir. Es como preguntarle a un área en una empresa sobre las capacidades de un área con el que nunca ha interactuado.

Quizás lo más importante es que los usuarios siempre dirigen la salida de la IA a través de sus indicaciones, incluso cuando no se dan cuenta. Cuando Lemkin preguntó a la solicitud de replicación de si las reversiones eran posibles posteriormente de una asesinato de la saco de datos, su ajuste en cuestión probablemente provocó una respuesta que coincidía con esa preocupación: producir una explicación de por qué la recuperación podría ser inasequible en circunscripción de evaluar con precisión las capacidades del sistema reales.

Esto crea un ciclo de comentarios donde los usuarios preocupados preguntan “¿simplemente destruyeron todo?” Es más probable que reciban respuestas que confirman sus miedos, no porque el sistema de IA haya evaluado la situación, sino porque está generando texto que se ajusta al contexto emocional del aviso.

Una vida de escuchar a los humanos explicar sus acciones y los procesos de pensamiento nos han llevado a creer que este tipo de explicaciones escritas deben tener algún nivel de autoconocimiento detrás de ellas. Eso no es cierto con los LLM que simplemente imitan ese tipo de patrones de texto para adivinar sus propias capacidades y defectos.