Obtener visibilidad, y, en última instancia, ideas, en los activos de la nimbo empresarial está creciendo cada vez más desafiante.

Las propiedades en la nimbo son extensas y fragmentadas, y las capacidades de inventario en las herramientas existentes pueden ser estrechas e inintuitivas, separando principios como los datos de costos y seguridad en plataformas desconectadas con flexibilidad limitada.

Compañía de gobierno en la nimbo CloudQuery se está posicionando para chocar este problema centralizando los activos en la nimbo, los metadatos de seguridad y el costo en un solo área, y haciéndolo accesible a través de consultas e informes SQL fáciles e incorporados. La compañía está adoptando un enfoque de desarrollador primero para la gobernanza en la nimbo, extrayendo datos de más de 60 fuentes, incluidas AWS, GCP, Azure, Okta y Wiz, en un solo almacén de datos de consulta.

La compañía ahora anuncia una ronda de financiación de $ 15 millones dirigida por Partech para medrar aún más su enfoque de la visibilidad de la nimbo.

“El anciano desafío con las herramientas existentes es que están aislados, uno para la seguridad, uno para el costo, uno para el inventario de activos, lo que dificulta obtener una sagacidad unificada en todos los dominios”, dijo el fundador de CQ, Yevgeny Pats, a VentureBeat. “Incluso preguntas simples como ‘¿Qué pandeo EBS está conectado a un EC2 que está decaído? Es difícil de objetar sin unir múltiples herramientas”.

CloudQuery debajo del capó

CloudQuery utiliza dos tecnologías secreto en el capó: Data Warehouse y la colchoneta de datos de código descubierto Clickhouse y el ámbito de Arrow Apache para desarrollar aplicaciones de investigación de datos.

Esta edificio de complemento de stop rendimiento integrada en GO se conecta directamente a API como AWS, Azure, Google Cloud Platform (GCP) y muchas otras plataformas que extraen la configuración, la seguridad y los metadatos de costos. La plataforma sincroniza continuamente los datos de docenas de proveedores y servicios en la nimbo en un inventario de activos centralizado y centralizado.

“Ponemos un cachas empaque en la precisión y frescura de los datos, sincronizando a suscripción frecuencia para respaldar que los equipos estén trabajando con la información más confiable y actualizada”, dijo Pats.

Esos datos, explicó, está estructurado relacionalmente con el motor SQL de Power CloudQuery y los informes incorporados, para que los equipos puedan tener una flexibilidad total sin acatar de las herramientas de caja negra.

La compañía además “selectivamente” utiliza modelos de idiomas grandes (LLM) para consultas de jerga natural, gestación y recomendaciones SQL, “pero siempre adicionalmente de una colchoneta de datos precisos y transparentes”, dijo Pats. Señaló que correcto a que AI entiende proporcionadamente SQL, herramientas como Claude y OpenAI pueden crear informes y investigación personalizados en inglés simple.

Tomar un enfoque de desarrollador primero es fundamental, dijo Pats, porque los desarrolladores son, en última instancia, los que construyen, operan y aseguran la infraestructura de la nimbo presente. Aún así, se construyeron muchas herramientas de visibilidad en la nimbo para la gobernanza de en lo alto alrededor de debajo, no para las personas que efectivamente están en las trincheras.

“Cuando pones a los desarrolladores primero, con datos accesibles, API flexibles y jerga nativo como SQL, los capaces para que se muevan más rápido, atrapen problemas ayer y se construyan de modo más segura”, dijo.

Los clientes están encontrando formas de usar CloudQuery más allá del inventario de activos. “Muchos comienzan con la visibilidad, luego se convierten rápidamente en casos de uso como monitoreo de cumplimiento, mandato de postura de seguridad, optimización de costos, todo de la misma plataforma central”, dijo Pats.

Cómo Hexagon construyó un laguna de datos sin servidor para todas sus tiendas en la nimbo

Una empresa ya viendo resultados es Hexágono. El equipo del Centro de Excelencia Cloud Center (CCOE) de la compañía de software tenía el objetivo de construir un laguna de datos totalmente sin servidor que pudiera compendiar datos de todas sus cuentas en la nimbo y almacenarlo en un solo laguna de datos.

Igualmente querían la capacidad de consultar estos datos usando SQL y visualizarlos con herramientas con las que estaban familiarizados (como AWS Quicksight), y explorar el historial de su configuración en la nimbo a lo prolongado del tiempo.

El equipo creó una tubería de datos sin servidor utilizando CloudQuery para compendiar datos de todas las cuentas y almacenarlo en S3. AWS Glue luego ingiere datos en Glue DB en un formato que Amazon Athena puede consultar, lo que Athena hace, luego visualiza a la visión rápida.

“Tener una opción totalmente sin servidor era un requisito importante”, escribió el avezado en la gobernanza de la nimbo de Hexagon y el avezado en finos Peter Figueiredo y el director de ingeniería de CloudQuery, Herman Schaaf en un blog. “Esta osadía trajo muchos beneficios ya que no hay indigencia de actualizaciones que llevan mucho tiempo y prácticamente cero mantenimiento”.

Tuvieron que pasar algunos desafíos, particularmente con los complementos de soporte de Amazon S3. El equipo de CCOE fue uno de los primeros en probar características de CloudQuery en el destino S3 y ofreció ideas que condujeron a nuevas características. Estos incluyen:

• Soporte de parquet: el destino del archivo CloudQuery inicialmente solo admitió los formatos de datos CSV y JSON. Los errores en las interpretaciones JSON llevaron a CloudQuery a anexar soporte de parquet.
• Partitionamiento de datos: un complemento de destino de archivo CloudQuery ahora permite la partición en la escritura auténtico (que anteriormente no estaba adecuado, lo que resultó en pasos innecesarios adicionales).
• Tino de fortuna para Athena: CloudQuery inicialmente solo ofreció una sagacidad de fortuna para AWS compatible con Postgres. Pero Athena no admitió esto, por lo que CloudQuery agregó una función que puede recuperar una serie de todas las tablas para construir o refrescar una sagacidad de fortuna.

El equipo de Figueiredo usó CloudQuery para reemplazar el Administrador de direcciones IP VPC (IPAM) de AWS, que llamó caro y circunscrito porque no cubre otros proveedores de la nimbo.

En última instancia, su equipo ejecuta CloudQuery en el modo ‘Data Lake’ utilizando “infraestructura reaccionario trueque”, incluidas AWS S3, ECS, Glue, Athena y Lambda “, dijo Figueiredo a VentureBeat. Esto mantiene los costos bajos y permite que Hexagon fusione todas sus direcciones IP en diferentes proveedores de nubes.

“Podemos consultar rápidamente cualquier IP en todos los ámbitos y encontrar quiénes son los propietarios”, dijo Figueiredo. “Ahora podemos recoger todo lo que necesitamos a un costo muy bajo con un mantenimiento casi cero. Este es el Santo Cáliz para nuestro equipo”.