这是indexloc提供的服务,不要输入任何密码

Lightning Engine para Apache Spark

Acelera el rendimiento de los trabajos de Apache Spark 3.6 veces*

Obtén un rendimiento de consultas más rápido con Lightning Engine, un nuevo motor de procesamiento de Spark con ejecución vectorizada, almacenamiento en caché inteligente integrado y E/S de almacenamiento optimizado. Lightning Engine ahora está en versión preliminar.

* Las consultas se derivan del estándar TPC-DS y del estándar TPC-H y, como tal, no son comparables con los resultados publicados del estándar TPC-DS ni del estándar TPC-H, ya que estas ejecuciones no cumplen con todos los requisitos de la especificación del estándar TPC-DS y del estándar TPC-H.

Spark es una marca comercial de The Apache Software Foundation.

Funciones

Rendimiento mejorado de Spark

Lightning Engine aprovecha un nuevo motor de procesamiento de Apache Spark con ejecución vectorizada, almacenamiento en caché inteligente integrado y E/S de almacenamiento optimizado para ofrecer un rendimiento de consultas significativamente más rápido. Lightning Engine es totalmente compatible con las aplicaciones de código abierto de Spark.



Líder en precio y rendimiento del sector

Ofrece un rendimiento y una rentabilidad superiores, lo que permite a los usuarios procesar más datos por menos dinero. Lightning Engine proporciona un rendimiento 3.6 veces superior* en comparación con Apache Spark de código abierto, además de integraciones profundas en los servicios de Google Cloud, como BigQuery y Vertex AI. La optimización administrada reduce el ajuste de rendimiento manual.


Interoperabilidad con Open Lakehouse

Lightning Engine está profundamente integrado en Apache Iceberg y Google Cloud BigLake, lo que proporciona una plataforma unificada de IA y análisis de datos. Cuenta con conectores de datos optimizados para Cloud Storage y BigQuery, lo que mejora significativamente la latencia de acceso a los datos y la capacidad de procesamiento.

Implementación flexible

Lightning Engine actualmente está en versión preliminar y estará disponible en el nivel premium de Google Cloud sin servidores para Apache Spark, así como en los clústeres administrados de Dataproc. Ambos servicios ya cuentan con compatibilidad con GPU para cargas de trabajo de aprendizaje automático acelerado y las mejores herramientas de supervisión de trabajos para la eficiencia operativa. Con Spark sin servidores, que admite asistencia de trabajos de producción robusta a gran escala a través de configuraciones flexibles de Spark y el manejo de tamaños de registros grandes, también se logra una utilización de recursos cercana al 100%.

Cómo funciona

Lightning Engine aumenta significativamente el rendimiento de Spark en Google Cloud mediante la optimización del acceso a los datos, la implementación de un almacenamiento en caché inteligente y el aprovechamiento de un motor de ejecución de C++ vectorizado, lo que permite tiempos de consulta mucho más rápidos y un consumo de recursos reducido en varias comparativas.

Usos comunes

Cargas de trabajo de ETL/ELT a gran escala

Mejora el rendimiento de las cargas de trabajo con transformaciones de SQL complejas

Las cargas de trabajo de ETL/ELT a gran escala con consultas en SQL complejas suelen estar limitadas por la CPU y requieren de una gran cantidad de mezcla y procesamiento de datos. El procesamiento columnar y la ejecución vectorizada de Lightning Engine pueden ayudar a reducir drásticamente el tiempo de procesamiento de estas operaciones complejas de SQL, lo que genera canalizaciones de datos más rápidas, costos reducidos debido a períodos de ejecución más cortos y actualizaciones de datos más frecuentes.

    Mejora el rendimiento de las cargas de trabajo con transformaciones de SQL complejas

    Las cargas de trabajo de ETL/ELT a gran escala con consultas en SQL complejas suelen estar limitadas por la CPU y requieren de una gran cantidad de mezcla y procesamiento de datos. El procesamiento columnar y la ejecución vectorizada de Lightning Engine pueden ayudar a reducir drásticamente el tiempo de procesamiento de estas operaciones complejas de SQL, lo que genera canalizaciones de datos más rápidas, costos reducidos debido a períodos de ejecución más cortos y actualizaciones de datos más frecuentes.

      Cargas de trabajo de IA/AA

      Acelera las cargas de trabajo de IA/AA y las cargas de trabajo de ETL con compatibilidad nativa de GPU

      Ejecuta cargas de trabajo de inferencia por lotes y entrenamiento de AA de Spark sin configuración adicional. La imagen de Spark viene empaquetada con controladores de NVIDIA y bibliotecas de AA populares. Usa la compatibilidad integrada para Spark Rapids, que se beneficia de todas las mejoras de rendimiento de Lightning Engine, tiene configuraciones predeterminadas óptimas para que los trabajos utilicen mejor las GPU y tiene un ajuste de escala automático rápido de los nodos.

        Acelera las cargas de trabajo de IA/AA y las cargas de trabajo de ETL con compatibilidad nativa de GPU

        Ejecuta cargas de trabajo de inferencia por lotes y entrenamiento de AA de Spark sin configuración adicional. La imagen de Spark viene empaquetada con controladores de NVIDIA y bibliotecas de AA populares. Usa la compatibilidad integrada para Spark Rapids, que se beneficia de todas las mejoras de rendimiento de Lightning Engine, tiene configuraciones predeterminadas óptimas para que los trabajos utilicen mejor las GPU y tiene un ajuste de escala automático rápido de los nodos.

          Genera una solución
          ¿Qué problema intentas resolver?
          What you'll get:
          Guía paso a paso
          Arquitectura de referencia
          Soluciones previamente compiladas disponibles
          Este servicio se creó con Vertex AI. Debes ser mayor de 18 años para usarlo. No ingreses información sensible, confidencial ni personal.

          Precios

          Cómo funcionan los precios de Lightning EngineLightning Engine para Apache Spark está en versión preliminar y los precios estarán disponibles próximamente
          Servicios y usoDescripciónPrecio (USD)

          Unidad de procesamiento de datos (DCU)

          Los detalles de la tarifa de DCU estarán disponibles en breve


          Disponible próximamente

          Los precios de Lightning Engine (versión preliminar) estarán disponibles próximamente.

          Cómo funcionan los precios de Lightning Engine

          Lightning Engine para Apache Spark está en versión preliminar y los precios estarán disponibles próximamente

          Unidad de procesamiento de datos (DCU)

          Descripción

          Los detalles de la tarifa de DCU estarán disponibles en breve


          Precio (USD)

          Disponible próximamente

          Los precios de Lightning Engine (versión preliminar) estarán disponibles próximamente.

          Calculadora de precios

          Calcula los costos mensuales, incluidos los precios y las tarifas específicos de una región.

          Presupuesto personalizado

          Comunícate con nuestro equipo de Ventas a fin de obtener una cotización personalizada para tu organización.

          Comienza tu prueba de concepto

          Potencia tus trabajos de Spark

          ¿Tienes un proyecto grande?

          Obtén más información sobre Google Cloud sin servidores para Apache Spark

          Cuándo usar Lightning Engine para Apache Spark

          Ajusta tus cargas de trabajo de Spark de Lightning Engine

          Google Cloud