Las herramientas ETL tradicionales como dbt o Fivetran preparan datos para crear informes: disección estructurados y paneles con esquemas estables. Las aplicaciones de IA necesitan poco diferente: preparar datos operativos confusos y en desarrollo para la inferencia de modelos en tiempo positivo.

Empromptu apasionamiento a esta distinción "integridad de inferencia" frente a "integridad de los informes." En ocupación de tratar la preparación de datos como una disciplina separada, los procesos dorados integran la normalización directamente en el flujo de trabajo de la aplicación de IA, reduciendo lo que normalmente requiere 14 días de ingeniería manual en menos de una hora, afirma la compañía. improvisados "oleoducto dorado" Este enfoque es una forma de acelerar la preparación de datos y certificar que sean precisos.

La empresa trabaja principalmente con clientes empresariales y del mercado medio en industrias reguladas donde la precisión y el cumplimiento de los datos no son negociables. Fintech es la enhiesto de más rápido crecimiento de Empromptu, con clientes adicionales en tecnología justo y de atención médica. La plataforma cumple con HIPAA y tiene certificación SOC 2.

"La IA empresarial no se rompe en la capa del maniquí, se rompe cuando los datos desordenados se encuentran con usuarios reales." Shanea Leven, directora ejecutiva y cofundadora de Empromptu, dijo a VentureBeat en una entrevista monopolio. "Los canales dorados incorporan la ingesta, la preparación y la gobernanza de datos directamente al flujo de trabajo de las aplicaciones de IA para que los equipos puedan crear sistemas que positivamente funcionen en producción."

Cómo funcionan los oleoductos dorados

Golden Pipeline opera como una capa automatizada que se encuentra entre los datos operativos sin procesar y las características de la aplicación de IA.

El sistema maneja cinco funciones principales. En primer ocupación, ingiere datos de cualquier fuente, incluidos archivos, bases de datos, API y documentos no estructurados. Luego procesa esos datos mediante inspección y aseo automatizadas, disposición con definiciones de esquemas y etiquetado y ganancia para satisfacer vacíos y clasificar registros. Las comprobaciones integradas de gobernanza y cumplimiento incluyen pistas de auditoría, controles de camino y cumplimiento de la privacidad.

El enfoque técnico combina el preprocesamiento determinista con la normalización asistida por IA. En ocupación de codificar cada transformación, el sistema identifica inconsistencias, infiere la estructura faltante y genera clasificaciones basadas en el contexto del maniquí. Cada transformación se registra y se vincula directamente a la evaluación de IA posterior.

El ciclo de evaluación es fundamental para el funcionamiento de los canales dorados. Si la normalización de los datos reduce la precisión posterior, el sistema lo detecta mediante una evaluación continua del comportamiento de producción. Según Leven, ese ensamble de feedback entre la preparación de datos y el rendimiento del maniquí distingue a los canales dorados de las herramientas ETL tradicionales.

Los canales dorados están integrados directamente en Empromptu Builder y se ejecutan automáticamente como parte de la creación de una aplicación de IA. Desde la perspectiva del legatario, los equipos están creando funciones de IA. Debajo del capó, los canales dorados garantizan que los datos que alimentan esas funciones estén limpios, estructurados, gobernados y listos para su uso en producción.

Integridad de informes frente a integridad de inferencia

Leven considera que Golden Pipes resuelve un problema fundamentalmente diferente al de las herramientas ETL tradicionales como dbt, Fivetran o Databricks.

"Dbt y Fivetran están optimizados para la integridad de los informes. Los canales dorados están optimizados para la integridad de la inferencia," Dijo Leven. "Las herramientas ETL tradicionales están diseñadas para mover y metamorfosear datos estructurados según reglas predefinidas. Asumen estabilidad del esquema, transformaciones conocidas y deducción relativamente estática."

"No reemplazaremos a dbt o Fivetran, las empresas seguirán usándolos para la integridad del almacén y los informes estructurados." Dijo Leven. "Los canales dorados se encuentran más cerca de la capa de aplicación de IA. Resuelven el problema de la última milla: ¿cómo se toman datos operativos imperfectos del mundo positivo y se los hace utilizables para funciones de IA sin meses de disputas manuales?"

El argumento de confianza a crédito de la normalización impulsada por la IA se fundamento en la auditabilidad y la evaluación continua.

"No es encantamiento sin supervisión. Es revisable, auditable y evaluado continuamente en función del comportamiento de producción." Dijo Leven. "Si la normalización reduce la precisión posterior, el tirabuzón de evaluación la detecta. Ese ensamble de feedback entre la preparación de datos y el rendimiento del maniquí es poco que los canales ETL tradicionales no proporcionan."

Implementación del cliente: VOW aborda datos de eventos de suspensión aventura

El enfoque del oleoducto dorado ya está teniendo un impacto en el mundo positivo.

Plataforma de gobierno de eventos VOTO maneja eventos de suspensión perfil para organizaciones como ALEGRE así como múltiples organizaciones deportivas. Cuando GLAAD planifica un evento, los datos se completan en invitaciones de patrocinadores, compras de boletos, mesas, asientos y más. El proceso ocurre rápidamente y la coherencia de los datos no es negociable.

"Nuestros datos son más complejos que los de la plataforma promedio," Jennifer Brisman, directora ejecutiva de VOW, dijo a VentureBeat. "Cuando GLAAD planifica un evento, los datos se completan con invitaciones de patrocinadores, compras de boletos, mesas y asientos, y más. Y todo tiene que suceder muy rápido."

VOW estaba escribiendo scripts de expresiones regulares manualmente. Cuando la empresa decidió crear una función de plano de planta generada por IA que actualizaba los datos casi en tiempo positivo y completaba información en toda la plataforma, certificar la precisión de los datos se volvió fundamental. Golden Pipelines automatizó el proceso de cuna de datos de planos de planta que a menudo llegaban desordenados, inconsistentes y desestructurados, y luego los formateaba y enviaba sin un gran esfuerzo manual por parte del equipo de ingeniería.

VOW inicialmente utilizó Empromptu para el disección de planos de planta generados por IA que ni el equipo de IA de Google ni el equipo de IA de Amazon pudieron resolver. La empresa ahora está reescribiendo toda su plataforma en el sistema de Empromptu.

Qué significa esto para las implementaciones de IA empresarial

Los procesos dorados apuntan a un patrón de implementación específico: organizaciones que crean aplicaciones de IA integradas donde la preparación de datos es actualmente un cuello de botella manual entre el prototipo y la producción.

El enfoque tiene menos sentido para equipos que ya cuentan con organizaciones maduras de ingeniería de datos con procesos ETL establecidos y optimizados para sus dominios específicos, o para organizaciones que crean modelos de IA independientes en ocupación de aplicaciones integradas.

El punto de audacia es si la preparación de datos está bloqueando la velocidad de la IA en la ordenamiento. Si los científicos de datos están preparando conjuntos de datos para experimentación que los equipos de ingeniería luego reconstruyen desde cero para la producción, la preparación de datos integrada aborda esa brecha.

Si el cuello de botella está en otra parte del ciclo de vida del incremento de la IA, no será así. La compensación es la integración de la plataforma frente a la flexibilidad de las herramientas. Los equipos que utilizan canales dorados se comprometen con un enfoque integrado en el que la preparación de datos, el incremento de aplicaciones de IA y la gobernanza se realizan en una única plataforma. Las organizaciones que prefieren reunir las mejores herramientas para cada función encontrarán que ese enfoque es limitante. El beneficio es eliminar los traspasos entre la preparación de datos y el incremento de aplicaciones. El costo es la opcionalidad limitada en cómo se implementan esas funciones.