Hay una gran cantidad de datos empresariales atrapados en documentos PDF. Sin duda, las herramientas de inteligencia químico de coexistentes han podido ingerir y analizar archivos PDF, pero la precisión, el tiempo y el costo no han sido ideales. La nueva tecnología de Databricks podría cambiar eso.

La compañía detalló esta semana su "ai_parse_document" tecnología, ahora integrada con la plataforma Agent Bricks de Databricks. La tecnología aborda un cuello de botella crítico en la admisión de la IA empresarial: aproximadamente el 80% del conocimiento empresarial permanece bloqueado en archivos PDF, informes y diagramas que los sistemas de IA tienen dificultades para procesar y comprender con precisión.

"Es una suposición popular que analizar archivos PDF es un problema resuelto, pero en verdad no lo es." Erich Elsen, estudiado investigador principal de Databricks, dijo a VentureBeat. "El desafío no es sólo que los documentos no estén estructurados; es que los archivos PDF empresariales son inherentemente complejos. Mezclan contenido nativo digital con páginas escaneadas y fotografías de documentos físicos, adyacente con tablas, gráficos y diseños irregulares, y la mayoría de las herramientas existentes no logran capturar esa información con precisión."

La complejidad oculta detrás del examen de documentos

Si aceptablemente el registro óptico de caracteres (OCR) ha existido durante décadas, Elsen sostiene que la ascendencia de datos estructurados y utilizables de documentos empresariales del mundo existente sigue sin resolverse fundamentalmente.

Fundamentos esencia como tablas con celdas fusionadas, leyendas de figuras y relaciones espaciales entre nociones de documentos son rutinariamente descartados o malinterpretados por las herramientas existentes, lo que hace que las aplicaciones de IA, los sistemas de coexistentes aumentada de recuperación (RAG) o los paneles de inteligencia empresarial no sean confiables.

La posibilidad empresarial típica ha sido apilar varias herramientas imperfectas: un servicio para detección de diseño, otro para OCR, un tercero para ascendencia de tablas, así como API adicionales para examen de figuras. Este enfoque requiere meses de ingeniería de datos personalizada y mantenimiento continuo a medida que evolucionan los formatos de los documentos.

"Para compensar, los equipos han tenido que acumular múltiples herramientas imperfectas o crear extensos procesos personalizados, dedicando meses a ingeniería de datos en sitio de innovación." Dijo Elsen. "ai_parse_document resuelve este problema extrayendo datos completos y estructurados de documentos del mundo existente, para que las organizaciones finalmente puedan aguardar y consultar datos no estructurados directamente en el interior de Databricks."

Enfoque técnico: capacitación de un extremo a otro frente a apilamiento de canales

Actualmente existen múltiples servicios en el mercado para analizar archivos PDF, incluidos AWS Textract, Google Document AI y Azure Document Intelligence, entre otros. Elsen argumentó que en sitio de simplemente analizar texto, la útil utiliza un sistema de componentes modernos de inteligencia químico entrenados de un extremo a otro para extraer contexto estructurado con calidad de vanguardia.

La función va más allá de la ascendencia básica para capturar:

• Tablas conservadas exactamente como aparecen, incluidas celdas fusionadas y estructuras anidadas.

• Figuras y diagramas con leyendas y descripciones generadas por IA.

• Metadatos espaciales y cuadros delimitadores para una ubicación precisa de los nociones.

• Horizontes de imágenes opcionales para aplicaciones de búsqueda multimodal

Todos los resultados se almacenan directamente en Databricks Unity Catalog como tablas Delta, lo que significa que los documentos analizados se convierten en datos estructurados consultables sin salir del entorno de Databricks. Este es un diferenciador esencia de los servicios en la nimbo que requieren exportar datos para su procesamiento.

"A través de la capacitación centrada en datos y la inferencia optimizada, hemos conseguido un costo entre 3 y 5 veces pequeño, al mismo tiempo que igualamos o superamos sistemas líderes como Textract, Document AI y Azure Document Intelligence." Dijo Elsen.

Acogida empresarial temprana en los sectores manufacturero e industrial

Varias empresas importantes ya han implementado ai_parse_document en producción con casos de uso que abarcan la optimización del flujo de trabajo de la ciencia de datos, la democratización del procesamiento de documentos y el incremento de aplicaciones RAG.

Por ejemplo, Elsen señaló que Rockwell Automation utiliza ai_parse_document para someter la sobrecarga de configuración para sus científicos de datos.

"Lo que ayer requería una configuración importante para consentir soluciones complejas ahora se ha simplificado, lo que permite a sus equipos brindar más tiempo a innovar y menos tiempo a regir la infraestructura." dijo.

Mientras tanto, TE Connectivity está utilizando ai_parse_document para democratizar el procesamiento de datos no estructurados.

"Anteriormente, extraer tablas, texto y metadatos de documentos requería flujos de trabajo complejos y con mucho código," Dijo Elsen. "Con Databricks, han condensado todo eso en una única función SQL, haciendo que el procesamiento reformista de documentos sea accesible para todos los equipos de datos, no solo para los científicos de datos."

Emerson Electric es otro de los primeros en adoptarlo. La empresa está utilizando ai_parse_document para un caso de uso de RAG. Elsen explicó que al permitir el examen paralelo de documentos directamente en el interior de las tablas Delta, Emerson ha hecho que la creación de aplicaciones RAG sea rápida y sencilla, todo en el interior de su entorno Databricks existente.

El distracción de integración de plataformas

Si aceptablemente Databricks tiene una larga trayectoria con el código hendido, la tecnología ai_parse_document es un componente propietario de la plataforma Databricks.

A diferencia de las API de inteligencia de documentos independientes, ai_parse_document está profundamente integrada con la plataforma Agent Bricks de Databricks, que es una colección de funciones de IA y capacidades de orquestación para crear agentes de IA de producción.

La función funciona con la infraestructura de datos más amplia de Databricks, que incluye:

• Canalizaciones declarativas de Spark: Proporcione procesamiento incremental forzoso, lo que significa que los nuevos documentos que llegan a SharePoint, S3 o Azure Data Lake Storage se analizan automáticamente sin orquestación manual.

• Catálogo de pelotón: Controla los permisos, las pistas de auditoría y el condición de datos para el contenido analizado exactamente como lo hace para los datos estructurados.

• Búsqueda de vectores: Índices de nociones de documentos analizados, incluidos texto, tablas y figuras con leyendas para aplicaciones RAG multimodales.

• Encadenamiento de funciones de IA: Permite a los desarrolladores canalizar la salida de ai_parse_document directamente a ai_extract (ascendencia de entidades), ai_classify (categorización de documentos) y ai_summarize (síntesis de contenido) en el interior de una única consulta SQL.

• Supervisor multiagente: Coordina agentes de procesamiento de documentos con otros agentes especializados para flujos de trabajo complejos.

"El examen es sólo el principio y rara vez un fin en sí mismo," Dijo Elsen. "El objetivo es permitir a los clientes encadenar nuestras ai_functions, como ai_extract y ai_classify, adyacente con ai_parse_document para convertir sus documentos en información y datos procesables. Además pretendemos que sea sencillo convertir un corpus de documentos en una saco de datos de conocimiento para su uso en RAG u otros agentes de recuperación de información."

Qué significa esto para la táctica de IA empresarial

Para las empresas que crean sistemas de agentes de IA, es fundamental comprender cómo los sistemas utilizan y entienden efectivamente los documentos PDF.

El enfoque de Databricks arroja nueva luz sobre un tema que muchos podrían favor considerado un problema resuelto. Desafía las expectativas existentes con una nueva inmueble que podría beneficiar a múltiples tipos de flujos de trabajo. Sin confiscación, esta es una capacidad específica de la plataforma que requiere una evaluación cuidadosa para las organizaciones que aún no utilizan Databricks.

Para los tomadores de decisiones técnicas que evalúan las plataformas de agentes de IA, la conclusión esencia es que la inteligencia documental está pasando de un servicio forastero especializado a una capacidad de plataforma integrada.