Anunciado en mayo del 2025: Dataproc Serverless ahora es Google Cloud Serverless para Apache Spark
Spark bajo demanda: inicio rápido, operaciones nulas, mejora del rendimiento de las consultas y productividad de Gemini. Reducción del coste total de propiedad de hasta el 60 % en cargas de trabajo de Spark.
Apache Spark es una marca de The Apache Software Foundation.
Características
Elimina la complejidad de la gestión de clústeres y evita pagar por recursos inactivos o infrautilizados. Google Cloud sin servidor para Apache Spark ofrece un inicio rápido de las máquinas virtuales y un autoescalado dinámico para tus cargas de trabajo interactivas, por lotes y de IA. Dedica tu tiempo a crear funciones, no a gestionar la infraestructura. No se aplican cargos durante el inicio y el apagado de las máquinas virtuales.
Disfruta de un rendimiento líder en el sector a un precio asequible. Google Cloud Serverless para Apache Spark se basa en nuestro motor de consultas nativo de última generación, Lightning Engine, en versión preliminar. Ofrece un rendimiento de consultas y procesamiento de datos de Spark significativamente más rápido, más de 3, 6 veces más rápido** que Apache Spark de código abierto, gracias a su ejecución vectorizada avanzada, su almacenamiento en caché inteligente integrado y su E/S de almacenamiento optimizada, lo que te ayuda a obtener información valiosa más rápido y a reducir costes.
** Las consultas se derivan del estándar TPC-DS y del estándar TPC-H, por lo que no se pueden comparar con los resultados publicados del estándar TPC-DS y del estándar TPC-H, ya que estas ejecuciones no cumplen todos los requisitos de la especificación del estándar TPC-DS y del estándar TPC-H.
Ejecuta tus cargas de trabajo de producción de Spark con confianza. Google Cloud Serverless para Apache Spark optimiza los recursos, proporciona aislamiento de trabajos y admite las funciones de seguridad para empresas de Google Cloud (como la seguridad de red virtual privada sin servidor, la clave simétrica de clave elíptica (CMEK), la autenticación personal y las políticas de organización personalizadas). Además, te garantiza un entorno de ejecución seguro con funciones como subredes seguras, cifrado de forma predeterminada para los datos en reposo y en tránsito, y acceso de raíz o a máquinas virtuales sin permisos directos, lo que minimiza la carga de la seguridad operativa. Aunque Spark se ha creado para automatizar tareas, los usuarios expertos tienen acceso completo a las configuraciones de Spark para controlarlas con precisión.
Integra la IA generativa en tu ciclo de vida de desarrollo de Spark. Aprovecha Gemini para generar código PySpark con contexto en cuadernos con el contexto inteligente de tus datos para aumentar tu productividad. Recibe recomendaciones para solucionar problemas con la ayuda de la IA con Gemini Cloud Assist Investigate para resolver rápidamente los problemas, obtener información operativa más detallada y optimizar el rendimiento.
Ejecuta de forma fluida cargas de trabajo de inferencia por lotes o de entrenamiento distribuido. Google Cloud Serverless para Apache Spark ofrece compatibilidad integrada con la aceleración por GPU y viene con bibliotecas de aprendizaje automático populares preempaquetadas, como XGBoost, PyTorch y Transformers. Esto permite que los tiempos de arranque de los entornos de IA y aprendizaje automático sean mucho más rápidos y mejora la fiabilidad, ya que las imágenes tienen la certificación de Google.
Mantén la máxima flexibilidad. Google Cloud sin servidor para Apache Spark es totalmente compatible con software libre, por lo que puedes utilizar tu código y tus bibliotecas de Spark sin necesidad de modificarlos. Desarrolla en el lenguaje que prefieras (Python, Java, Scala, R) con tu IDE favorito (BigQuery Studio, Vertex AI Workbench, Jupyter, VSCode) y orquesta con herramientas como Apache Airflow/Cloud Composer o flujos de procesamiento de BigQuery. Procesa todos los formatos de datos, como los nativos de Google y los de código abierto, como Apache Iceberg.
Descubre la potencia de Apache Spark directamente en BigQuery. Escribe y ejecuta código de PySpark junto con SQL en cuadernos de Colab Enterprise unificados, aprovechando los metadatos comunes a través de BigLake Metastore, la seguridad compartida y la gobernanza coherente a través del catálogo universal de Dataplex.
Usos habituales
ETL/ELT sin servidor ultrarrápido
Ingiere, transforma y carga rápidamente conjuntos de datos enormes procedentes de diversas fuentes en BigQuery o Google Cloud Storage. Gracias al rendimiento inigualable de Lightning Engine y a la ausencia de cargas operativas, podrás optimizar tus flujos de procesamiento de datos y asegurarte de que los datos que utilices para tus analíticas sean siempre los más recientes.
ETL/ELT sin servidor ultrarrápido
Ingiere, transforma y carga rápidamente conjuntos de datos enormes procedentes de diversas fuentes en BigQuery o Google Cloud Storage. Gracias al rendimiento inigualable de Lightning Engine y a la ausencia de cargas operativas, podrás optimizar tus flujos de procesamiento de datos y asegurarte de que los datos que utilices para tus analíticas sean siempre los más recientes.
Analíticas interactivas y creación rápida de prototipos
Ofrece a tus científicos y analistas de datos un entorno flexible y de alto rendimiento de Spark sin servidor. Tanto si estás realizando una exploración de datos ad hoc, como si estás creando prototipos rápidamente o desarrollando modelos de aprendizaje automático sofisticados, Google Cloud Serverless para Apache Spark te ofrece la velocidad y las herramientas que necesitas. Desarrolla código PySpark y SQL en BigQuery Studio para disfrutar de una experiencia unificada, o conecta desde tus herramientas favoritas, como los cuadernos de Jupyter y VS Code, con extensiones de Google Cloud. Usa Gemini para recibir ayuda con el código y solucionar problemas, Lightning Engine para obtener resultados de consultas rápidos y la integración de Vertex AI para MLOps. Agiliza todo el ciclo de vida de la ciencia de datos, desde el descubrimiento rápido de datos hasta el entrenamiento de modelos complejos con GPUs y bibliotecas empaquetadas previamente.
Analíticas interactivas y creación rápida de prototipos
Ofrece a tus científicos y analistas de datos un entorno flexible y de alto rendimiento de Spark sin servidor. Tanto si estás realizando una exploración de datos ad hoc, como si estás creando prototipos rápidamente o desarrollando modelos de aprendizaje automático sofisticados, Google Cloud Serverless para Apache Spark te ofrece la velocidad y las herramientas que necesitas. Desarrolla código PySpark y SQL en BigQuery Studio para disfrutar de una experiencia unificada, o conecta desde tus herramientas favoritas, como los cuadernos de Jupyter y VS Code, con extensiones de Google Cloud. Usa Gemini para recibir ayuda con el código y solucionar problemas, Lightning Engine para obtener resultados de consultas rápidos y la integración de Vertex AI para MLOps. Agiliza todo el ciclo de vida de la ciencia de datos, desde el descubrimiento rápido de datos hasta el entrenamiento de modelos complejos con GPUs y bibliotecas empaquetadas previamente.
Precios
Precios transparentes y basados en el valor | Los precios de Spark sin servidor de Google Cloud se basan en el uso por segundo de recursos de computación (DCUs), GPUs y almacenamiento de Shuffle. | |
---|---|---|
Servicios y uso | Tipo de suscripción | Precio (USD) |
Unidad de computación de datos (DCU) | Estándar | Desde 0,06 USD por hora |
Premium | Desde 0,089 USD por hora | |
Almacenamiento Shuffle | Estándar | Desde 0,04 USD por GB al mes |
Premium | Desde 0,1 USD por GB al mes | |
Precios de Accelerator | a100 40 GB | Desde 3,52069 USD por hora |
a100 80 GB | Desde 4,713696 USD por hora | |
L4 | Desde 0,672048 USD por hora |
Consulta los detalles de los precios de Google Cloud Serverless para Apache Spark.
Precios transparentes y basados en el valor
Los precios de Spark sin servidor de Google Cloud se basan en el uso por segundo de recursos de computación (DCUs), GPUs y almacenamiento de Shuffle.
Unidad de computación de datos (DCU)
Estándar
Starting at
0,06 USD
por hora
Premium
Starting at
0,089 USD
por hora
Almacenamiento Shuffle
Estándar
Starting at
0,04 USD
por GB al mes
Premium
Starting at
0,1 USD
por GB al mes
Precios de Accelerator
a100 40 GB
Starting at
3,52069 USD
por hora
a100 80 GB
Starting at
4,713696 USD
por hora
L4
Starting at
0,672048 USD
por hora
Consulta los detalles de los precios de Google Cloud Serverless para Apache Spark.