2025년 5월 발표: Dataproc Serverless가 이제 Apache Spark용 Google Cloud 서버리스로 변경됨
Apache Spark용 Google Cloud 서버리스
개발부터 프로덕션까지 Apache Spark를 사용하는 새로운 방법
주문형 Spark: 빠른 시작, 제로옵스, 쿼리 성능 개선, Gemini 생산성 향상. Spark 워크로드의 TCO를 최대 60% 절감하세요.
Apache Spark는 Apache Software Foundation의 상표입니다.
기능
주문형 Spark: 클러스터가 아닌 코드에 집중
클러스터 관리의 복잡성을 없애고 유휴 상태의 리소스나 사용률이 낮은 리소스에 대한 비용을 지불하지 않아도 됩니다. Apache Spark용 Google Cloud 서버리스는 대화형, 일괄, AI 워크로드를 위한 빠른 VM 시작과 동적 자동 확장을 제공합니다. 인프라 관리가 아닌 기능 빌드에 시간을 투자하세요. VM 시작 및 종료 중에는 요금이 부과되지 않습니다.
Lightning Engine으로 성능 향상
업계를 선도하는 가격 대비 성능을 경험해 보세요. Apache Spark용 Google Cloud 서버리스는 현재 프리뷰 버전인 차세대 네이티브 쿼리 엔진인 Lightning Engine을 기반으로 합니다. 고급 벡터화 실행, 내장된 지능형 캐싱, 최적화된 스토리지 I/O를 통해 오픈소스 Apache Spark보다 3.6배 이상** 훨씬 더 빠른 Spark 쿼리 및 데이터 처리 성능을 제공하므로 유용한 정보를 더 빠르게 얻고 비용을 절감할 수 있습니다.
** 쿼리는 TPC-DS 표준 및 TPC-H 표준에서 파생되었으며, 이러한 실행은 TPC-DS 표준 및 TPC-H 표준 사양의 모든 요구사항을 준수하지 않으므로 게시된 TPC-DS 표준 및 TPC-H 표준 결과와 비교할 수 없습니다.
엔터프라이즈급 보안 및 구성
프로덕션 Spark 워크로드를 안심하고 실행하세요. Apache Spark용 Google Cloud 서버리스는 리소스를 최적화하고 작업 격리를 제공하며 Google Cloud의 엔터프라이즈 보안 기능(VPC-SC, CMEK, 개인 인증, 커스텀 조직 정책 포함)을 지원합니다. 또한 보안 서브넷, 저장 데이터 및 전송 중 데이터에 대한 기본 암호화, 직접적인 VM 또는 루트 액세스 없음 등의 기능을 통해 안전한 실행 환경을 보장하여 운영 보안 부담을 최소화합니다. 자동화를 위해 빌드되었지만, 전문가 사용자는 세밀한 제어를 위해 Spark 구성에 대한 전체 액세스 권한을 유지합니다.
모든 단계에서 Gemini로 생산성 향상
Spark 개발 수명 주기에 생성형 AI를 통합하세요. 데이터의 지능형 컨텍스트를 사용해 노트북에서 Gemini를 활용하여 컨텍스트 인식 PySpark 코드 생성하고 생산성을 크게 높입니다. Gemini Cloud Assist 조사를 통해 AI 지원 문제 해결 추천을 받아 문제를 신속하게 해결하고, 운영 통계를 심화하고, 성능을 최적화하세요.
간편한 분산형 AI/ML
분산 학습 또는 일괄 추론 워크로드를 원활하게 실행하세요. Apache Spark용 Google Cloud 서버리스는 GPU 가속을 기본적으로 지원하며 XGBoost, PyTorch, Transformers와 같은 인기 ML 라이브러리가 사전 패키징되어 제공됩니다. 이렇게 하면 AI/ML 환경의 시작 시간이 크게 단축되고 이미지가 Google 인증을 받으므로 안정성이 향상됩니다.
개방형, 유연성, 상호 운용성
높은 유연성을 유지하세요. Apache Spark용 Google Cloud 서버리스는 완전한 OSS 호환성을 제공하므로 기존 Spark 코드와 라이브러리를 수정하지 않고도 가져올 수 있습니다. 원하는 IDE(BigQuery Studio, Vertex AI Workbench, Jupyter, VSCode)를 사용해 원하는 언어(Python, Java, Scala, R)로 개발하고 Apache Airflow/Cloud Composer 또는 BigQuery Pipelines와 같은 도구로 조정합니다. Google 네이티브 형식과 Apache Iceberg와 같은 오픈소스 형식 등 모든 데이터 형식을 처리합니다.
통합 BigQuery 환경
BigQuery 내에서 Apache Spark의 강력한 기능을 직접 경험해 보세요. 통합 Colab Enterprise 노트북에서 BigLake Metastore를 통한 일반 메타데이터, 공유 보안, Dataplex 범용 카탈로그를 통한 일관된 거버넌스를 활용하여 SQL과 함께 PySpark 코드를 작성하고 실행합니다.
일반적인 용도
서버리스 파이프라인
초고속 서버리스 ETL/ELT
초고속 서버리스 ETL/ELT
다양한 소스의 방대한 데이터 세트를 BigQuery 또는 Google Cloud Storage로 빠르게 수집, 변환, 로드할 수 있습니다. Lightning Engine의 타의 추종을 불허하는 성능과 운영 부담이 전혀 없는 환경을 통해 데이터 파이프라인을 간소화하고 분석에 사용할 최신 데이터를 확보하세요.
튜토리얼, 빠른 시작, 실습
초고속 서버리스 ETL/ELT
초고속 서버리스 ETL/ELT
다양한 소스의 방대한 데이터 세트를 BigQuery 또는 Google Cloud Storage로 빠르게 수집, 변환, 로드할 수 있습니다. Lightning Engine의 타의 추종을 불허하는 성능과 운영 부담이 전혀 없는 환경을 통해 데이터 파이프라인을 간소화하고 분석에 사용할 최신 데이터를 확보하세요.
대화형 데이터 과학 및 분석
대화형 분석 및 신속한 프로토타입 제작
대화형 분석 및 신속한 프로토타입 제작
유연한 고성능 서버리스 Spark 환경으로 데이터 과학자와 분석가의 역량을 강화하세요. Apache Spark용 Google Cloud 서버리스는 임시 데이터 탐색, 신속한 프로토타입 제작, 정교한 머신러닝 모델 빌드 등 어떤 작업을 수행하든 필요한 속도와 도구를 제공합니다. 통합 환경을 위해 BigQuery Studio에서 PySpark 및 SQL 코드를 개발하거나 Jupyter 노트북 및 VS Code와 같은 선호하는 도구에서 Google Cloud 확장 프로그램을 통해 연결할 수 있습니다. 코드 지원 및 문제 해결에는 Gemini, 빠른 쿼리 결과에는 Lightning Engine, MLOps에는 Vertex AI 통합을 활용하세요. 빠른 데이터 탐색부터 GPU 및 사전 패키징된 라이브러리를 사용한 복잡한 모델 학습에 이르기까지 전체 데이터 과학 수명 주기를 가속화합니다.
튜토리얼, 빠른 시작, 실습
대화형 분석 및 신속한 프로토타입 제작
대화형 분석 및 신속한 프로토타입 제작
유연한 고성능 서버리스 Spark 환경으로 데이터 과학자와 분석가의 역량을 강화하세요. Apache Spark용 Google Cloud 서버리스는 임시 데이터 탐색, 신속한 프로토타입 제작, 정교한 머신러닝 모델 빌드 등 어떤 작업을 수행하든 필요한 속도와 도구를 제공합니다. 통합 환경을 위해 BigQuery Studio에서 PySpark 및 SQL 코드를 개발하거나 Jupyter 노트북 및 VS Code와 같은 선호하는 도구에서 Google Cloud 확장 프로그램을 통해 연결할 수 있습니다. 코드 지원 및 문제 해결에는 Gemini, 빠른 쿼리 결과에는 Lightning Engine, MLOps에는 Vertex AI 통합을 활용하세요. 빠른 데이터 탐색부터 GPU 및 사전 패키징된 라이브러리를 사용한 복잡한 모델 학습에 이르기까지 전체 데이터 과학 수명 주기를 가속화합니다.
가격 책정
| 투명하고 가치 기반의 가격 책정 | Google Cloud 서버리스 Spark 가격은 컴퓨팅(DCU), GPU, 셔플 스토리지의 초당 사용량을 기준으로 책정됩니다. | |
|---|---|---|
| 서비스 및 사용량 | 구독 유형 | 가격(USD) |
데이터 컴퓨팅 단위(DCU) | 표준 | 시작 가격 $0.06 /시간 |
프리미엄 | 시작 가격 $0.089 /시간 | |
셔플 스토리지 | 표준 | 시작 가격 $0.04 GB/월당 |
프리미엄 | 시작 가격 $0.1 GB/월당 | |
가속기 가격 책정 | a100 40GB | 시작 가격 $3.52069 /시간 |
a100 80GB | 시작 가격 $4.713696 /시간 | |
L4 | 시작 가격 $0.672048 /시간 | |
Apache Spark용 Google Cloud 서버리스의 가격 책정 세부정보 보기
투명하고 가치 기반의 가격 책정
Google Cloud 서버리스 Spark 가격은 컴퓨팅(DCU), GPU, 셔플 스토리지의 초당 사용량을 기준으로 책정됩니다.
데이터 컴퓨팅 단위(DCU)
표준
Starting at
$0.06
/시간
프리미엄
Starting at
$0.089
/시간
셔플 스토리지
표준
Starting at
$0.04
GB/월당
프리미엄
Starting at
$0.1
GB/월당
가속기 가격 책정
a100 40GB
Starting at
$3.52069
/시간
a100 80GB
Starting at
$4.713696
/시간
L4
Starting at
$0.672048
/시간
Apache Spark용 Google Cloud 서버리스의 가격 책정 세부정보 보기