这是indexloc提供的服务,不要输入任何密码

Anunciado en mayo del 2025: Dataproc Serverless ahora es Google Cloud Serverless para Apache Spark

Google Cloud Serverless para Apache Spark

La nueva forma de usar Apache Spark, desde el desarrollo hasta la producción

Spark bajo demanda: inicio rápido, operaciones nulas, mejora del rendimiento de las consultas y productividad de Gemini. Reducción del coste total de propiedad de hasta el 60 % en cargas de trabajo de Spark.

Apache Spark es una marca de The Apache Software Foundation.


Características

Spark bajo demanda: céntrate en tu código, no en los clústeres

Elimina la complejidad de la gestión de clústeres y evita pagar por recursos inactivos o infrautilizados. Google Cloud sin servidor para Apache Spark ofrece un inicio rápido de las máquinas virtuales y un autoescalado dinámico para tus cargas de trabajo interactivas, por lotes y de IA. Dedica tu tiempo a crear funciones, no a gestionar la infraestructura. No se aplican cargos durante el inicio y el apagado de las máquinas virtuales.

Mejora el rendimiento con Lightning Engine

Disfruta de un rendimiento líder en el sector a un precio asequible. Google Cloud Serverless para Apache Spark se basa en nuestro motor de consultas nativo de última generación, Lightning Engine, en versión preliminar. Ofrece un rendimiento de consultas y procesamiento de datos de Spark significativamente más rápido, más de 3, 6 veces más rápido** que Apache Spark de código abierto, gracias a su ejecución vectorizada avanzada, su almacenamiento en caché inteligente integrado y su E/S de almacenamiento optimizada, lo que te ayuda a obtener información valiosa más rápido y a reducir costes.

** Las consultas se derivan del estándar TPC-DS y del estándar TPC-H, por lo que no se pueden comparar con los resultados publicados del estándar TPC-DS y del estándar TPC-H, ya que estas ejecuciones no cumplen todos los requisitos de la especificación del estándar TPC-DS y del estándar TPC-H.

Seguridad y configuraciones preparadas para el ámbito empresarial

Ejecuta tus cargas de trabajo de producción de Spark con confianza. Google Cloud Serverless para Apache Spark optimiza los recursos, proporciona aislamiento de trabajos y admite las funciones de seguridad para empresas de Google Cloud (como la seguridad de red virtual privada sin servidor, la clave simétrica de clave elíptica (CMEK), la autenticación personal y las políticas de organización personalizadas). Además, te garantiza un entorno de ejecución seguro con funciones como subredes seguras, cifrado de forma predeterminada para los datos en reposo y en tránsito, y acceso de raíz o a máquinas virtuales sin permisos directos, lo que minimiza la carga de la seguridad operativa. Aunque Spark se ha creado para automatizar tareas, los usuarios expertos tienen acceso completo a las configuraciones de Spark para controlarlas con precisión.

Productividad con Gemini en cada paso

Integra la IA generativa en tu ciclo de vida de desarrollo de Spark. Aprovecha Gemini para generar código PySpark con contexto en cuadernos con el contexto inteligente de tus datos para aumentar tu productividad. Recibe recomendaciones para solucionar problemas con la ayuda de la IA con Gemini Cloud Assist Investigate para resolver rápidamente los problemas, obtener información operativa más detallada y optimizar el rendimiento.

IA y aprendizaje automático distribuidos fácilmente

Ejecuta de forma fluida cargas de trabajo de inferencia por lotes o de entrenamiento distribuido. Google Cloud Serverless para Apache Spark ofrece compatibilidad integrada con la aceleración por GPU y viene con bibliotecas de aprendizaje automático populares preempaquetadas, como XGBoost, PyTorch y Transformers. Esto permite que los tiempos de arranque de los entornos de IA y aprendizaje automático sean mucho más rápidos y mejora la fiabilidad, ya que las imágenes tienen la certificación de Google.

Abierto, flexible e interoperable

Mantén la máxima flexibilidad. Google Cloud sin servidor para Apache Spark es totalmente compatible con software libre, por lo que puedes utilizar tu código y tus bibliotecas de Spark sin necesidad de modificarlos. Desarrolla en el lenguaje que prefieras (Python, Java, Scala, R) con tu IDE favorito (BigQuery Studio, Vertex AI Workbench, Jupyter, VSCode) y orquesta con herramientas como Apache Airflow/Cloud Composer o flujos de procesamiento de BigQuery. Procesa todos los formatos de datos, como los nativos de Google y los de código abierto, como Apache Iceberg.

Experiencia unificada de BigQuery

Descubre la potencia de Apache Spark directamente en BigQuery. Escribe y ejecuta código de PySpark junto con SQL en cuadernos de Colab Enterprise unificados, aprovechando los metadatos comunes a través de BigLake Metastore, la seguridad compartida y la gobernanza coherente a través del catálogo universal de Dataplex.

Cómo funciona

 Spark: de la idea a la producción sin esfuerzo

Usos habituales

Flujos de procesamiento sin servidor

 ETL/ELT sin servidor ultrarrápido

Ingiere, transforma y carga rápidamente conjuntos de datos enormes procedentes de diversas fuentes en BigQuery o Google Cloud Storage. Gracias al rendimiento inigualable de Lightning Engine y a la ausencia de cargas operativas, podrás optimizar tus flujos de procesamiento de datos y asegurarte de que los datos que utilices para tus analíticas sean siempre los más recientes.

 ETL/ELT sin servidor ultrarrápido

Ingiere, transforma y carga rápidamente conjuntos de datos enormes procedentes de diversas fuentes en BigQuery o Google Cloud Storage. Gracias al rendimiento inigualable de Lightning Engine y a la ausencia de cargas operativas, podrás optimizar tus flujos de procesamiento de datos y asegurarte de que los datos que utilices para tus analíticas sean siempre los más recientes.

Ciencia de datos y analíticas interactivas

Analíticas interactivas y creación rápida de prototipos

Ofrece a tus científicos y analistas de datos un entorno flexible y de alto rendimiento de Spark sin servidor. Tanto si estás realizando una exploración de datos ad hoc, como si estás creando prototipos rápidamente o desarrollando modelos de aprendizaje automático sofisticados, Google Cloud Serverless para Apache Spark te ofrece la velocidad y las herramientas que necesitas. Desarrolla código PySpark y SQL en BigQuery Studio para disfrutar de una experiencia unificada, o conecta desde tus herramientas favoritas, como los cuadernos de Jupyter y VS Code, con extensiones de Google Cloud. Usa Gemini para recibir ayuda con el código y solucionar problemas, Lightning Engine para obtener resultados de consultas rápidos y la integración de Vertex AI para MLOps. Agiliza todo el ciclo de vida de la ciencia de datos, desde el descubrimiento rápido de datos hasta el entrenamiento de modelos complejos con GPUs y bibliotecas empaquetadas previamente.

Analíticas interactivas y creación rápida de prototipos

Ofrece a tus científicos y analistas de datos un entorno flexible y de alto rendimiento de Spark sin servidor. Tanto si estás realizando una exploración de datos ad hoc, como si estás creando prototipos rápidamente o desarrollando modelos de aprendizaje automático sofisticados, Google Cloud Serverless para Apache Spark te ofrece la velocidad y las herramientas que necesitas. Desarrolla código PySpark y SQL en BigQuery Studio para disfrutar de una experiencia unificada, o conecta desde tus herramientas favoritas, como los cuadernos de Jupyter y VS Code, con extensiones de Google Cloud. Usa Gemini para recibir ayuda con el código y solucionar problemas, Lightning Engine para obtener resultados de consultas rápidos y la integración de Vertex AI para MLOps. Agiliza todo el ciclo de vida de la ciencia de datos, desde el descubrimiento rápido de datos hasta el entrenamiento de modelos complejos con GPUs y bibliotecas empaquetadas previamente.

Generar una solución
¿Qué problema intentas resolver?
What you'll get:
Guía paso a paso
Arquitectura de referencia
Soluciones prediseñadas disponibles
Este servicio se ha creado con Vertex AI. Debes tener al menos 18 años para usarlo. No incluyas información sensible, confidencial ni personal.

Precios

Precios transparentes y basados en el valorLos precios de Spark sin servidor de Google Cloud se basan en el uso por segundo de recursos de computación (DCUs), GPUs y almacenamiento de Shuffle.
Servicios y usoTipo de suscripción Precio (USD)

Unidad de computación de datos (DCU)

Estándar

Desde

0,06 USD

por hora

Premium

Desde

0,089 USD

por hora

Almacenamiento Shuffle

Estándar

Desde

0,04 USD

por GB al mes

Premium

Desde

0,1 USD

por GB al mes

Precios de Accelerator

a100 40 GB

Desde

3,52069 USD

por hora

a100 80 GB

Desde

4,713696 USD

por hora

L4

Desde

0,672048 USD

por hora

Consulta los detalles de los precios de Google Cloud Serverless para Apache Spark.

Precios transparentes y basados en el valor

Los precios de Spark sin servidor de Google Cloud se basan en el uso por segundo de recursos de computación (DCUs), GPUs y almacenamiento de Shuffle.

Unidad de computación de datos (DCU)

Tipo de suscripción

Estándar

Precio (USD)

Starting at

0,06 USD

por hora

Premium

Tipo de suscripción

Starting at

0,089 USD

por hora

Almacenamiento Shuffle

Tipo de suscripción

Estándar

Precio (USD)

Starting at

0,04 USD

por GB al mes

Premium

Tipo de suscripción

Starting at

0,1 USD

por GB al mes

Precios de Accelerator

Tipo de suscripción

a100 40 GB

Precio (USD)

Starting at

3,52069 USD

por hora

a100 80 GB

Tipo de suscripción

Starting at

4,713696 USD

por hora

L4

Tipo de suscripción

Starting at

0,672048 USD

por hora

Consulta los detalles de los precios de Google Cloud Serverless para Apache Spark.

Calculadora de precios

Calcula tus costes mensuales por región.

Presupuesto personalizado

Ponte en contacto con nuestro equipo de ventas para solicitar un presupuesto personalizado para tu organización.

Empieza hoy mismo

Tutorial para dar los primeros pasos

¿Tienes un proyecto de gran envergadura?

Descripción general del producto

Utilizar el conector de BigQuery con Google Cloud Serverless para Apache Spark

Usar GPUs con Google Cloud Serverless para Apache Spark

Google Cloud