Para cualquier persona en IA, no es una gran nueva que “los datos sean el cierto premio”. Si tiene cimientos de datos fuertes, sus modelos y las aplicaciones impulsadas por ellos estarán en el mosca.

Pero ahí es donde se vuelve embrollado. La construcción de esa pulvínulo no es un pedazo de pastel, especialmente cuando hay docenas de fuentes de datos, cada una alojando información valiosa. Debe construir y suministrar tuberías de integración para cada fuente, una carga de ingeniería masiva para los equipos de datos que hacen malabares con herramientas de ETL para centralizar lo que se necesita para favorecer las cargas de trabajo de IA. A escalera, estas tuberías se convierten en cuellos de botella rígidos, difíciles de adaptar, extender o expandir.

Copo de cocaína piensa que tiene una respuesta.

Hoy, en su cumbre anual, la compañía anunció la disponibilidad universal de OpenFlow, un servicio de ingestión de datos totalmente administrado que extrae cualquier tipo de datos de prácticamente cualquier fuente, simplificando el proceso de movilización de información para una implementación rápida de IA.

¿Cómo funciona?

Impulsado por Apache Nifi, OpenFlow utiliza conectores, prebuilt o personalizados, con la gobernanza y seguridad integradas de Snowflake. Ya sea que se trate de contenido multimodal no estructurado de Box o transmisiones de eventos en tiempo vivo, OpenFlow se enchufa, unifica y pone todos los tipos de datos disponibles en la abundancia de datos de IA de Snowflake.

“Data engineers often faced a critical tradeoff – if they wanted highly controllable pipelines, they encountered complexity and significant infrastructure management. If they wanted a simple solution, they encountered issues of limited privacy, flexibility and customization. Openflow meets customers where their data lives, providing deployment flexibility and guaranteeing security and governance along the way,” Chris Child, VP of Product, Data Engineering, at Snowflake, told VentureBeat.

Si perfectamente Snowflake ha ofrecido opciones de ingestión como pipe de cocaína para transmisión o conectores individuales, OpenFlow ofrece una “decisión integral y sin esfuerzo para ingerir prácticamente todos los datos empresariales”.

“La transmisión de la tubería de cocaína de Snowflake y la transmisión de la tubería de cocaína siguen siendo una pulvínulo esencia para los clientes que llevan datos al copo de cocaína, y se enfocan en la ‘carga’ del proceso ETL. OpenFlow, por otro banda, maneja la procedencia de datos directamente de los sistemas de origen, luego realiza los procesos de transformación y carga. Incluso se integra nuestra nueva obra de transmisión, por lo que los datos se pueden transmitir a Snowflake una vez que se extrae, se explica en nuestra nueva transmisión de la transmisión.

En última instancia, esto desbloquea nuevos casos de uso en los que la IA puede analizar una imagen completa de datos empresariales, incluidos documentos, imágenes y eventos en tiempo vivo, directamente internamente de Snowflake. Una vez que se extraen las ideas, pueden retornar al sistema de origen utilizando el conector.

Más de 200 conectores disponibles

OpenFlow actualmente admite más de 200 conectores y procesadores listos para usar, que cubren servicios como Box, Google Ads, Microsoft SharePoint, Oracle, Salesforce Data Cloud, Workday y Zendesk.

“La integración de Box con Snowflake OpenFlow … aprovecha la procedencia de datos de la caja usando la caja AI, honra los permisos originales para el paso seguro y alimenta esos datos en copos de cocaína para el estudio. Incluso permite un flujo de dos vías en el que las ideas o metadatos enriquecidos pueden ser escritos de regreso a la caja, haciendo que el contenido sea más inteligente con el tiempo”, Ben Kus, cto en el cuadro, dijo VentureBeat.

La creación de nuevos conectores lleva solo unos minutos, acelerando el tiempo para valorar. Los usuarios asimismo obtienen características de seguridad como autorización basada en roles, secreto en tránsito y trámite de secretos para suministrar los datos protegidos de extremo a extremo.

“Las organizaciones que requieren integración de datos en tiempo vivo, tratan altos volúmenes de datos de varias fuentes, o dependen de datos no estructurados como imágenes, audio y video para obtener valía se beneficiarán enormemente de OpenFlow”, agregó Child. Una empresa minorista, por ejemplo, podría equilibrar datos aislados de ventas, comercio electrónico, CRM y redes sociales para ofrecer experiencias personalizadas y operaciones optimizadas.

Los clientes de Snowflake Irwin, Securonix y Workwave se encuentran entre los que utilizarán OpenFlow para mover y esquilar datos globales, aunque la compañía no ha revelado números de prohijamiento exactos.

¿Qué sigue?

Como el próximo paso, Snowflake tiene como objetivo hacer de OpenFlow la columna vertebral del movimiento de datos inteligente en tiempo vivo en los sistemas distribuidos, lo que impulsa la perduración de los agentes de IA.

“Nos estamos centrando en mover eventos a una escalera masiva y permitir la comunicación bidireccional de agente en tiempo vivo a agente, por lo que las ideas y las acciones fluyen sin problemas a través de los sistemas distribuidos. Por ejemplo, un agente de la corteza que entrega eventos a otros agentes empresariales de otros sistemas, como ServiceNow”, dijo Child.

La tendencia de tiempo para estas actualizaciones sigue sin estar clara por ahora.