Creación de una plataforma de malla de datos para análisis de self-service

Sobre Glovo

Establecida en Barcelona en 2015, Glovo es una aplicación multicategoría innovadora que vincula a usuarios negocios y repartidores para ofrecer servicios a demanda. Desde restaurantes, tiendas de alimentación y supermercados locales, Glovo conecta con más de 15 millones de clientes en 25 países, facilitando el acceso a todos los productos disponibles en la ciudad.

Al crecer, esta startup de quick commerce optó por sustituir su Data Warehouse monolítico con una solución de data mesh permitiéndole escalar su plataforma de datos mediante la descentralización.

El reto

Glovo opera en un mercado complejo con cuatro actores claves: clientes, repartidores, anunciantes y marcas. Todos ellos requierenun acceso permanente y fiable a los datos para diversos casos de uso de análisis y operaciones. La empresa optimiza su plataforma continuamente buscando los mejores métodos para brindar un valor común a todas las partes interesadas.

Para ello, Glovo decidió adoptar a una arquitectura de data mesh, necesitando un motor de consultas de alto rendimiento, en conjunto con su Data Lake de Amazon S3. Aunque inicialmente utilizaron Trino, de código abierto, el equipo de ingeniería necesitaba funciones de nivel empresarial que Trino no podía proporcionar.

Además de estas funciones, Glovo también buscaba:

• Autoescalado de clústeres
• Panel de control de producto de datos
• Integración con Privacera

Solución

Después de considerar otras opciones como Amazon Athena y Google BigQuery, Glovo optó por Starburst Enterprise debido a su mayor potencial. Esta solución ofrece funciones de nivel empresarial incluyendo autoescalado y seguridad, asistencia continua de expertos en Trino y optimizaciones de consultas gracias a la biblioteca de conectores predefinida de Starburst Enterprise, incluyendo compatibilidad con Delta Lake.

Entre las ventajas adicionales proporcionadas por Starburst Enterprise a Glovo se encuentran:

• Sencillez de implementación con Kubernetes.
• Autoescalado elástico para diversos tipos de cargas de trabajo.
• Una interfaz de usuario intuitiva , tanto para administradores como para consumidores de datos, que ofrece un resumen visual para supervisar los clústeres y optimizar las consultas.
• Una capa de conectividad que permite el acceso directo a los conjuntos de datos estén donde estén.
• Integración con Apache Ranger, permitiendo a Glovo estandarizar la autorización a través de un control de acceso basado en roles (RBAC).
• Integración con sus herramientas de Business Intelligence preferidas, como Looker y Tableau.

Resultados

El equipo de plataforma de datos de Glovo implementó Starburst Enterprise, permitiendo análisis self-service en su data mesh. Este cambio ha generado mejora significativas en su negocio :

• Consultas un 50 % más rápidas. El tiempo de consulta mejoró en un 50 % (de 10 a 5 minutos) en comparación con el motor de código abierto Trino.
• Insights para análisis self-service. Starburst Insights proporciona a los usuarios un resumen visual de métricas importantes y permitiéndoles supervisar clústeres y optimizar consultas.
• Reducción del coste total de propiedad (TCO). Glovo puede separar el computo del almacenamiento, reduciendo costos al almacenar datos en la capa de almacenamiento más accesible (Amazon S3) y al utilizar únicamente los recursos informáticos según sea necesario.
• Rendimiento de Parquet mejorado. Con Starburst Enterprise, Glovo expermineta una mejora promedio del 20 % en el rendimiento de lectura de Parquet en comparación con Trino.

Al elegir Starburst Enterprise, los usuarios sin conocimientos técnicos pueden acceder y utilizar datos fácilmente desde sus herramientas preferidas . Con acceso a datos federados, Glovo puede evaluar continuamente todos sus datos para mejorar su plataforma en este mercado de cuatro actores claves . “Starburst permite una experimentación más fácil y rápida, y eso es algo que necesitábamos para poder optimizar nuestra plataforma”, afirma Grandi.