Obtén un rendimiento de consultas más rápido con Lightning Engine, un nuevo motor de procesamiento de Spark con ejecución vectorizada, almacenamiento en caché inteligente integrado y E/S de almacenamiento optimizado. Lightning Engine ahora está en versión preliminar.
* Las consultas se derivan del estándar TPC-DS y del estándar TPC-H y, como tal, no son comparables con los resultados publicados del estándar TPC-DS ni del estándar TPC-H, ya que estas ejecuciones no cumplen con todos los requisitos de la especificación del estándar TPC-DS y del estándar TPC-H.
Spark es una marca comercial de The Apache Software Foundation.
Funciones
Lightning Engine aprovecha un nuevo motor de procesamiento de Apache Spark con ejecución vectorizada, almacenamiento en caché inteligente integrado y E/S de almacenamiento optimizado para ofrecer un rendimiento de consultas significativamente más rápido. Lightning Engine es totalmente compatible con las aplicaciones de código abierto de Spark.
Ofrece un rendimiento y una rentabilidad superiores, lo que permite a los usuarios procesar más datos por menos dinero. Lightning Engine proporciona un rendimiento 3.6 veces superior* en comparación con Apache Spark de código abierto, además de integraciones profundas en los servicios de Google Cloud, como BigQuery y Vertex AI. La optimización administrada reduce el ajuste de rendimiento manual.
Lightning Engine está profundamente integrado en Apache Iceberg y Google Cloud BigLake, lo que proporciona una plataforma unificada de IA y análisis de datos. Cuenta con conectores de datos optimizados para Cloud Storage y BigQuery, lo que mejora significativamente la latencia de acceso a los datos y la capacidad de procesamiento.
Lightning Engine actualmente está en versión preliminar y estará disponible en el nivel premium de Google Cloud sin servidores para Apache Spark, así como en los clústeres administrados de Dataproc. Ambos servicios ya cuentan con compatibilidad con GPU para cargas de trabajo de aprendizaje automático acelerado y las mejores herramientas de supervisión de trabajos para la eficiencia operativa. Con Spark sin servidores, que admite asistencia de trabajos de producción robusta a gran escala a través de configuraciones flexibles de Spark y el manejo de tamaños de registros grandes, también se logra una utilización de recursos cercana al 100%.
Cómo funciona
Lightning Engine aumenta significativamente el rendimiento de Spark en Google Cloud mediante la optimización del acceso a los datos, la implementación de un almacenamiento en caché inteligente y el aprovechamiento de un motor de ejecución de C++ vectorizado, lo que permite tiempos de consulta mucho más rápidos y un consumo de recursos reducido en varias comparativas.
Usos comunes
Mejora el rendimiento de las cargas de trabajo con transformaciones de SQL complejas
Las cargas de trabajo de ETL/ELT a gran escala con consultas en SQL complejas suelen estar limitadas por la CPU y requieren de una gran cantidad de mezcla y procesamiento de datos. El procesamiento columnar y la ejecución vectorizada de Lightning Engine pueden ayudar a reducir drásticamente el tiempo de procesamiento de estas operaciones complejas de SQL, lo que genera canalizaciones de datos más rápidas, costos reducidos debido a períodos de ejecución más cortos y actualizaciones de datos más frecuentes.
Mejora el rendimiento de las cargas de trabajo con transformaciones de SQL complejas
Las cargas de trabajo de ETL/ELT a gran escala con consultas en SQL complejas suelen estar limitadas por la CPU y requieren de una gran cantidad de mezcla y procesamiento de datos. El procesamiento columnar y la ejecución vectorizada de Lightning Engine pueden ayudar a reducir drásticamente el tiempo de procesamiento de estas operaciones complejas de SQL, lo que genera canalizaciones de datos más rápidas, costos reducidos debido a períodos de ejecución más cortos y actualizaciones de datos más frecuentes.
Acelera las cargas de trabajo de IA/AA y las cargas de trabajo de ETL con compatibilidad nativa de GPU
Ejecuta cargas de trabajo de inferencia por lotes y entrenamiento de AA de Spark sin configuración adicional. La imagen de Spark viene empaquetada con controladores de NVIDIA y bibliotecas de AA populares. Usa la compatibilidad integrada para Spark Rapids, que se beneficia de todas las mejoras de rendimiento de Lightning Engine, tiene configuraciones predeterminadas óptimas para que los trabajos utilicen mejor las GPU y tiene un ajuste de escala automático rápido de los nodos.
Acelera las cargas de trabajo de IA/AA y las cargas de trabajo de ETL con compatibilidad nativa de GPU
Ejecuta cargas de trabajo de inferencia por lotes y entrenamiento de AA de Spark sin configuración adicional. La imagen de Spark viene empaquetada con controladores de NVIDIA y bibliotecas de AA populares. Usa la compatibilidad integrada para Spark Rapids, que se beneficia de todas las mejoras de rendimiento de Lightning Engine, tiene configuraciones predeterminadas óptimas para que los trabajos utilicen mejor las GPU y tiene un ajuste de escala automático rápido de los nodos.
Precios
Cómo funcionan los precios de Lightning Engine | Lightning Engine para Apache Spark está en versión preliminar y los precios estarán disponibles próximamente | |
---|---|---|
Servicios y uso | Descripción | Precio (USD) |
Unidad de procesamiento de datos (DCU) | Los detalles de la tarifa de DCU estarán disponibles en breve | Disponible próximamente |
Los precios de Lightning Engine (versión preliminar) estarán disponibles próximamente.
Cómo funcionan los precios de Lightning Engine
Lightning Engine para Apache Spark está en versión preliminar y los precios estarán disponibles próximamente
Unidad de procesamiento de datos (DCU)
Los detalles de la tarifa de DCU estarán disponibles en breve
Disponible próximamente
Los precios de Lightning Engine (versión preliminar) estarán disponibles próximamente.