Normalmente, al crear, entrenar e implementar IA, las empresas priorizan la precisión. Y eso, sin duda, es importante; pero en sectores mucho complejos y llenos de matices como el derecho, la precisión por sí sola no es suficiente. Lo que está en serie es longevo: los resultados de los modelos deben evaluarse en cuanto a relevancia, autoridad, precisión de las citas y tasas de alucinaciones.

Para afrontar esta inmensa tarea, LexisNexis ha evolucionado más allá de la engendramiento aumentada de recuperación (RAG) en serie para graficar RAG y gráficos agentes; incluso se ha construido "planificador" y "advertencia" Agentes de IA que analizan solicitudes y critican sus propios resultados.

“No existe la ‘IA perfecta’ porque nunca se obtiene el 100% de precisión o el 100% de relevancia, especialmente en dominios complejos y de detención peligro como el permitido”, reconoce Min Chen, vicepresidente senior y director de IA de LexisNexis, en un nuevo podcast de VentureBeat Beyond the Pilot.

El objetivo es tramitar esa incertidumbre tanto como sea posible y traducirla en un valencia constante para el cliente. “Al final del día, lo que más nos importa es la calidad del resultado de la IA, y eso es un delirio continuo de experimentación, iteración y progreso”, dijo Chen.

Obtener respuestas “completas” a preguntas multifacéticas

Para evaluar los modelos y sus resultados, el equipo de Chen ha establecido más de media docena de “submétricas” para cronometrar la “utilidad” en función de varios factores (autoridad, precisión de las citas, tasas de alucinaciones) así como la “integralidad”. Esta métrica particular está diseñada para evaluar si una respuesta de IA gen. abordó completamente todos los aspectos de las preguntas legales de los usuarios.

“Así que no se comercio sólo de relevancia”, dijo Chen. “La integridad acento directamente de la confiabilidad permitido”.

Por ejemplo, un sucesor puede hacer una pregunta que requiera una respuesta que abarque cinco consideraciones legales distintas. La engendramiento de IA puede proporcionar una respuesta que aborde con precisión tres de ellos. Pero, aunque relevante, esta respuesta parcial es incompleta y, desde la perspectiva del sucesor, insuficiente. Esto puede resultar engañoso y sugerir riesgos en la vida auténtico.

O, por ejemplo, algunas citas pueden ser semánticamente relevantes para la pregunta de un sucesor, pero pueden señalar argumentos o casos que finalmente fueron anulados en el tribunal. “Nuestros abogados los considerarán no citables”, dijo Chen. “Si no se pueden citar, no son aperos”.

Más allá del RAG en serie

LexisNexis lanzó su producto destino de IA de engendramiento, Lexis+ AI, una útil permitido de IA para redacción, investigación y observación, en 2023. Se construyó sobre un ámbito RAG en serie y una búsqueda de vectores híbridos que sostén las respuestas en la pulvínulo de conocimientos confiable y autorizada de LexisNexis.

Luego, la compañía lanzó su asistente permitido personal, Protégé, en 2024. Este agente incorpora una capa de esquema de conocimiento por otra parte de la búsqueda vectorial para pasar una “límite secreto” de la búsqueda semántica pura. Aunque es “muy buena” para recuperar contenido contextualmente relevante, la búsqueda semántica “no siempre garantiza respuestas autorizadas," Dijo Chen.

La búsqueda semántica original devuelve lo que considera contenido relevante; Luego, el equipo de Chen analiza esos resultados a través de un esquema de “cuestiones de derecho” para filtrar aún más los documentos con longevo autoridad.

Más allá de esto, el equipo de Chen está desarrollando gráficos de agentes y acelerando la automatización para que los agentes puedan planificar y ejecutar tareas complejas de varios pasos.

Por ejemplo, los “agentes planificadores” autodirigidos para preguntas y respuestas de investigación dividen las preguntas de los usuarios en múltiples subpreguntas. Los usuarios humanos pueden revisarlos y editarlos para refinar y personalizar aún más las respuestas finales. Mientras tanto, un “agente de advertencia” se encarga de la redacción de los documentos transaccionales. Puede pelar “cibernética y dinámicamente” su dechado original, luego incorporar esa feedback y perfeccionarlo en tiempo auténtico.

Sin bloqueo, Chen dijo que todo esto no tiene como objetivo excluir a los humanos de la mezcla; Los expertos humanos y los agentes de IA pueden “ilustrarse, razonar y crecer juntos”. “Veo el futuro como una colaboración más profunda entre los humanos y la IA”.

Mire el podcast para retener más sobre:

• Cómo la adquisición de LexisNexis de Secuaz ayudó a cimentar modelos de IA con datos patentados de LexisNexis y datos de clientes;

• La diferencia entre evaluación determinista y no determinista;

• Por qué las empresas deberían identificar los KPI y las definiciones de éxito antiguamente de apresurarse a examinar;

• La importancia de centrarse en un “triángulo” de componentes secreto: Costo, velocidad y calidad.

Igualmente puedes escuchar y suscribirte Más allá del piloto en Spotify, Manzana o dondequiera que obtengas tus podcasts.