Anunciado em maio de 2025: o Dataproc Serverless agora é o Google Cloud Serverless para Apache Spark
Google Cloud Serverless para Apache Spark
Foque no código, não na infraestrutura
Execute seus jobs do Apache Spark de maneira mais fácil em uma plataforma personalizável com operações zero, de maneira mais inteligente com a ajuda do Gemini e de maneira mais rápida com o desempenho do Lightning Engine.
Apache Spark é uma marca registrada da Apache Software Foundation.
Recursos
Desempenho líder do setor
Turbine seus jobs com o Lightning Engine, nosso mecanismo vetorizado de última geração. Tenha um desempenho mais de 4,3 vezes mais rápido e um TCO menor para suas cargas de trabalho do Spark sem servidor, automaticamente.
Zero-Ops com escalonamento automático inteligente
Elimine o gerenciamento de clusters com o escalonamento automático inteligente. Os recursos são escalonados automaticamente para cima e para baixo para corresponder perfeitamente às necessidades do seu job, garantindo o máximo de desempenho e eficiência de custos sem pagar pelo tempo ocioso.
Desenvolvimento com tecnologia de IA
Acelere todo o seu fluxo de trabalho. Escreva e depure códigos em PySpark, Scala e Java com o Gemini Code Assist no BigQuery Studio e inicie ambientes acelerados por GPU com ML Runtimes pré-configurados.
Experiência unificada do Spark e SQL
Elimine a troca de contexto. Desenvolva e execute suas cargas de trabalho em um único ambiente, como o BigQuery Studio, combinando perfeitamente o SQL avançado com a flexibilidade do PySpark no mesmo notebook.
Dois níveis de desempenho
| Dois níveis de desempenho | Níveis para atender às suas necessidades específicas, desde o processamento em lote padrão até os trabalhos mais exigentes e críticos para o desempenho. |
|---|---|
| Nível | Ideal para |
Standard | Ideal para processamento em lote econômico, transformações de dados e jobs Spark de uso geral.
|
Premium | Para as cargas de trabalho mais exigentes, oferecendo desempenho máximo com o Lightning Engine, aceleração de IA/ML e recursos interativos.
|
Dois níveis de desempenho
Níveis para atender às suas necessidades específicas, desde o processamento em lote padrão até os trabalhos mais exigentes e críticos para o desempenho.
Standard
Ideal para processamento em lote econômico, transformações de dados e jobs Spark de uso geral.
- ETL do Spark de uso geral
- Pipelines de dados agendados
- Jobs em lote sensíveis a custos
Premium
Para as cargas de trabalho mais exigentes, oferecendo desempenho máximo com o Lightning Engine, aceleração de IA/ML e recursos interativos.
- Jobs críticos para o desempenho com tecnologia Lightning Engine para um aumento de 4,3x
- Ciência de dados e análise interativos
- IA e ML acelerados por GPU
- Processamento de dados complexo e em grande escala
Usos comuns
Ciência de dados interativa
Ciência de dados interativa
Capacite os cientistas de dados a analisar os dados e iterar rapidamente nos modelos de ML do Spark. Unifique SQL e Spark em um único notebook do BigQuery Studio, passando da análise de dados com SQL para a criação de modelos com PySpark sem precisar gerenciar a infraestrutura.
Tutoriais, guias de início rápido e laboratórios
Ciência de dados interativa
Ciência de dados interativa
Capacite os cientistas de dados a analisar os dados e iterar rapidamente nos modelos de ML do Spark. Unifique SQL e Spark em um único notebook do BigQuery Studio, passando da análise de dados com SQL para a criação de modelos com PySpark sem precisar gerenciar a infraestrutura.
Preços
| Preços transparentes e baseados no valor | Os preços do Serverless para Apache Spark são baseados no uso por segundo de computação (DCUs), GPUs e armazenamento de shuffle. | |
|---|---|---|
| Serviços e uso | Tipo de assinatura | Preço (US$) |
Unidade de computação de dados (DCU) | Standard | A partir de US$ 0,06 por hora |
Premium | A partir de US$ 0,089 por hora | |
Armazenamento de embaralhamento | Standard | A partir de US$ 0,04 por GB / mês |
Premium | A partir de US$ 0,10 por GB / mês | |
Preços do Accelerator | a100 40 GB | A partir de US$ 3,52069 por hora |
a100 80 GB | A partir de US$ 4,713696 por hora | |
L4 | A partir de US$ 0,672048 por hora | |
Confira os detalhes de preços do Google Cloud Serverless para Apache Spark.
Preços transparentes e baseados no valor
Os preços do Serverless para Apache Spark são baseados no uso por segundo de computação (DCUs), GPUs e armazenamento de shuffle.
Unidade de computação de dados (DCU)
Standard
Starting at
US$ 0,06
por hora
Premium
Starting at
US$ 0,089
por hora
Armazenamento de embaralhamento
Standard
Starting at
US$ 0,04
por GB / mês
Premium
Starting at
US$ 0,10
por GB / mês
Preços do Accelerator
a100 40 GB
Starting at
US$ 3,52069
por hora
a100 80 GB
Starting at
US$ 4,713696
por hora
L4
Starting at
US$ 0,672048
por hora
Confira os detalhes de preços do Google Cloud Serverless para Apache Spark.
Caso de negócios
Crie seu caso de negócios para o Google Cloud Serverless para Apache Spark
Os benefícios econômicos do Google Cloud Dataproc e do Serverless Spark em comparação com soluções alternativas
Saiba como o Serverless para Apache Spark oferece economias significativas de TCO e valor comercial em comparação com soluções no local e outras soluções de nuvem.
Conteúdo relacionado
No relatório:
Descubra como o Dataproc e o Serverless para Apache Spark podem proporcionar uma economia de 18% a 60% em comparação com outras alternativas do Spark baseadas na nuvem.
Descubra como o Google Cloud Serverless para Apache Spark pode oferecer uma relação preço-performance de 21% a 55% melhor do que outras ofertas de Spark sem servidor.
Saiba como o Dataproc e o Google Cloud Serverless para Apache Spark simplificam as implantações do Spark e ajudam a reduzir a complexidade operacional.
Perguntas frequentes
Quando devo escolher o Serverless para Apache Spark em vez do Dataproc?
Escolha o Serverless para Apache Spark quando quiser se concentrar no código e eliminar todo o gerenciamento de infraestrutura. Ele é ideal para novos pipelines do Spark, análises interativas e jobs com demanda imprevisível em que velocidade e simplicidade são prioridade.
Preciso instalar minhas próprias bibliotecas, como PyTorch ou XGBoost?
O nível Premium foi projetado para IA/ML e vem com ambientes de execução de ML pré-configurados que têm bibliotecas comuns como PyTorch, XGBoost e scikit-learn integradas. Isso elimina a configuração complexa e permite que você comece a trabalhar com suas cargas de trabalho de ciência de dados em minutos.
Saiba mais sobre cargas de trabalho e ambientes de execução de GPU.
Como consigo o melhor desempenho e como funciona o preço?
Para ter o máximo de desempenho, você pode selecionar o nível Premium, que é alimentado pelo Lightning Engine. O preço é baseado em um modelo de "pagamento pelo que você usa", em que você é cobrado por segundo apenas pela duração da execução do seu job. Isso é altamente econômico, pois elimina o custo de clusters ociosos.