Un data lakehouse es una arquitectura de datos moderna que crea una única plataforma combinando las principales ventajas de los data lakes (grandes repositorios de datos en bruto en su forma original) y los almacenes de datos (conjuntos organizados de datos estructurados). En concreto, los data lakehouses permiten a las organizaciones utilizar un almacenamiento de bajo coste para almacenar grandes cantidades de datos en bruto mientras proporcionan estructuras y funciones de gestión de datos. 

Antes, los almacenes de datos y los data lakes tenían que implementarse como arquitecturas independientes y aisladas para no sobrecargar los sistemas subyacentes y crear contención por los mismos recursos. Para ello, las empresas utilizaban almacenes de datos para almacenar datos estructurados para la inteligencia empresarial (BI), informes y lagos de datos para almacenar datos sin estructurar y semiestructurados para almacenar cargas de trabajo de inteligencia artificial (IA) y aprendizaje automático. Sin embargo, este enfoque debía cambiar de forma periódica los datos entre los dos sistemas para procesarlos conjuntamente, lo que suponía mayor complejidad, más costes y problemas relacionados con la actualización, la duplicación y la coherencia de los datos. 

El objetivo de los data lakehouses es acabar con estos silos y ofrecer la flexibilidad, escalabilidad y agilidad necesarias para que tus datos generen valor para tu negocio, y no una ineficiencia.

El término "data lakehouse" combina dos tipos de repositorios de datos: el almacén de datos y el data lake. Entonces, ¿qué diferencias hay entre un data lakehouse, un data lake y un almacén de datos?

Los almacenes de datos proporcionan acceso rápido a compatibilidad con datos y SQL para los usuarios empresariales que necesitan generar informes y estadísticas para tomar decisiones. Todos los datos deben pasar por la fase de extracción, transformación y carga (ETL). Esto significa que se optimiza con un formato o esquema específico en función del caso práctico antes de cargarlo para admitir consultas de alto rendimiento y la integridad de los datos. Sin embargo, este método limita la flexibilidad de acceso a los datos y genera costes adicionales si es necesario trasladarlos para utilizarlos en el futuro. 

Los data lakes almacenan grandes cantidades de datos estructurados y sin estructurar en su formato nativo. A diferencia de los almacenes de datos, los datos se procesan, limpian y transforman durante los análisis para que la velocidad de carga sea más rápida, por lo que son ideales para el procesamiento de Big Data, el aprendizaje automático y las analíticas predictivas. Sin embargo, requieren experiencia en la ciencia de datos, lo que limita el conjunto de personas que pueden utilizar los datos y, si no se mantienen de forma adecuada, la calidad de los datos se puede deteriorar con el tiempo. Los data lakes también dificultan la obtención de consultas en tiempo real, ya que los datos no se procesan, por lo que posiblemente tengan que limpiarse, procesar, ingerir e integrar antes de poder usarse. 

Un data lakehouse combina esos dos enfoques para crear una única estructura que te permite acceder a datos y aprovecharlos para muchos fines, como la inteligencia empresarial, la ciencia de datos, IA o el aprendizaje automático. En otras palabras, un data lakehouse recoge todos los datos no estructurados, estructurados y semiestructurados de tu organización y los almacena en un almacenamiento de bajo coste. Además, ofrece a todos los usuarios la posibilidad de organizar y consultar los datos según sus necesidades.

Estas son algunas de las funciones clave de un data lakehouse: 

• Un solo almacén de datos de bajo coste para todos los tipos de datos (estructurados, sin estructurar y semiestructurados)
• Funciones de gestión de datos para aplicar esquemas, aplicar el gobierno de datos y proporcionar procesos de extracción, transformación y carga (ETL) y limpieza de datos
• Compatibilidad de las transacciones con las propiedades ACID (atomicidad, coherencia, aislamiento y durabilidad) para asegurar la coherencia de los datos cuando varios usuarios leen y escriben datos simultáneamente
• Formatos de almacenamiento estandarizados que se pueden usar en varios programas de software
• Streamings de extremo a extremo que permiten la ingestión de datos y la generación de estadísticas en tiempo real
• Separa los recursos de computación y almacenamiento para asegurar la escalabilidad para un conjunto diverso de cargas de trabajo
• Interoperabilidad con motores de código abierto, como Apache Spark, y plataformas de analíticas basadas en SQL, como BigQuery
• Gobierno integral y gestión de metadatos en todos tus datos
• Acceso directo de las aplicaciones de inteligencia empresarial a los datos de origen del lakehouse para reducir la duplicación de datos 

A la hora de hacer que un data lakehouse funcione, hay que tener en cuenta sus objetivos. El objetivo de los data lakehouses es centralizar las distintas fuentes de datos y simplificar los esfuerzos de ingeniería para que todos los miembros de tu organización puedan ser usuarios de datos. 

Los data lakehouse utilizan el mismo bajo coste de almacenamiento de objetos en la nube de los data lakes para proporcionar almacenamiento bajo demanda y facilitar el aprovisionamiento y el escalado. Al igual que los data lakes, pueden capturar y almacenar grandes volúmenes de todo tipo de datos en formato sin procesar. El lakehouse integra capas de metadatos en este almacén para proporcionar funciones similares a las de un almacén, como esquemas estructurados, compatibilidad con transacciones ACID, gobierno de datos y otras funciones de gestión y optimización de datos.

El concepto de data lakehouse ha evolucionado con el tiempo, ya que las empresas quieren tener la máxima flexibilidad en el almacenamiento de datos y más opciones e interoperabilidad con los motores de procesamiento de datos y analíticas. Además, crear data lakehouses también es difícil de construir desde cero y ahora deben estar profundamente conectados a las funciones de IA. En la mayoría de los casos, deberás optar por una solución de data lakehouse lista para usar o utilizar una plataforma como Google Cloud que ofrece todos los componentes necesarios para crear una arquitectura abierta de lakehouse.

Una arquitectura de data lakehouse consta de las siguientes capas: 

• Capa de almacenamiento: la capa de almacenamiento es la capa de data lake que se aplica a todos los datos en bruto. Por lo general, se trata de un almacén de objetos de bajo coste para todos los conjuntos de datos no estructurados, estructurados y semiestructurados. Está desvinculado de los recursos de computación para que la informática se pueda escalar de forma independiente. 
• Capa de staging: se trata de la capa de metadatos que se encuentra sobre la capa de data lake. Ofrece un catálogo detallado sobre todos los objetos de datos almacenados en el almacenamiento, lo que te permite aplicar funciones de gestión de datos, como la implementación de esquemas, las propiedades ACID, la indexación, el almacenamiento en caché y el control de acceso.
• Capa semántica: la capa semántica (es decir la capa lakehouse) muestra todos tus datos para que los usuarios puedan usar aplicaciones cliente y herramientas de analíticas para acceder a los datos y aprovecharlos para hacer pruebas y presentar la inteligencia empresarial. 

Apache Iceberg está revolucionando las arquitecturas de lakehouse al proporcionar un formato de tabla abierto que ofrece funciones similares a las de un almacén de datos (como transacciones ACID, evolución de esquemas y viaje en el tiempo) directamente en los data lakes almacenados en almacenes de objetos. Esto permite a las empresas crear plataformas de datos muy escalables, eficaces y flexibles que sean interoperables en varios motores de analíticas y que no obliguen a depender de un proveedor. 

La estrategia de Google Cloud ha sido proporcionar a las empresas un data lakehouse abierto, gestionado y de alto rendimiento basado en BigLake, un motor de almacenamiento unificado que ofrece una implementación nativa de Apache Iceberg en Cloud Storage, donde puedes utilizar los motores de código abierto que elijas directamente en los datos de Iceberg. BigLake Metastore simplifica la gestión de datos y se integra con Dataplex Universal Catalog para ofrecer un gobierno unificado. Puedes aplicar un control de acceso pormenorizado y agilizar el rendimiento de las consultas en los datos distribuidos. 

Esta combinación, junto con el almacenamiento y la potencia de computación de BigQuery, se sitúa en el centro de la arquitectura de data lakehouse gestionada y de alto rendimiento que admite cargas de trabajo de analíticas avanzadas, streaming, IA y aprendizaje automático con Iceberg. BigQuery no solo está integrado en el ecosistema de Google Cloud, sino que también te permite utilizar tecnologías de partners y de software libre para reunir en un único sistema las mejores funciones de los lagos y almacenes.