BigLake
BigLake로 Apache Iceberg 레이크하우스 빌드
자동화된 데이터 관리 및 기본 제공 거버넌스를 통해 고급 분석 및 데이터 과학을 지원하는 개방형 관리형 고성능 Iceberg 레이크하우스를 빌드하세요.
기능
트랜잭션 및 분석 데이터 간 상호 운용성
BigLake Metastore는 모든 Iceberg 테이블을 위한 서버리스 metastore입니다. Apache Spark, BigQuery, 서드 파티 플랫폼과 같은 엔진에서 이를 사용하여 테이블을 생성하고 관리할 수 있으므로 데이터와 통합 액세스 제어에 대한 일관된 뷰를 제공합니다. 이제 BigLake Metastore에서 Apache Iceberg Rest Catalog(프리뷰)를 지원하므로 OSS 및 서드 파티 엔진과 쉽게 통합할 수 있습니다. 이제 AlloyDB(프리뷰)에서 Iceberg 테이블이 데이터에 액세스할 수 있으므로 트랜잭션 플랫폼과 분석 플랫폼 간의 상호 운용성을 확보할 수 있습니다.
통합 데이터 관리 및 거버넌스
BigLake는 Google Cloud Storage 관리 기능을 확장하여 스토리지 자동 클래스를 사용하여 콜드 데이터 계층화를 효율적으로 관리하고 고객 관리 암호화 키(CMEK)를 스토리지 버킷에 적용할 수 있도록 지원합니다. BigLake metastore는 Dataplex 범용 카탈로그에 기본적으로 통합되어 중앙에서 정의된 거버넌스 정책이 여러 엔진에 걸쳐 일관되게 적용되도록 하면서도 시맨틱 검색, 데이터 계보, 프로파일링, 품질 검사를 지원합니다.
BigQuery를 사용한 고성능 분석, 스트리밍, AI
Apache Iceberg용 BigLake 테이블은 BigQuery와 함께 사용될 때 엔터프라이즈급 완전 관리형 Iceberg 환경을 제공합니다. Apache Iceberg 데이터를 자체 Google Cloud Storage 버킷에 저장하고 BigQuery의 확장성이 뛰어난 실시간 메타데이터 관리 기능을 활용하면 GCS와 관련된 개방성과 데이터 소유권은 물론 스트리밍, 고급 분석, AI 사용 사례를 위한 Iceberg 데이터를 사용한 BigQuery의 완전 관리형 기능에 액세스할 수 있어 두 가지 모두의 장점을 누릴 수 있습니다.
일반적인 용도
Iceberg를 사용한 개방형 레이크하우스 빌드
개방형 데이터 레이크하우스의 Google Cloud 구성요소 이해
개방형 데이터 레이크하우스의 Google Cloud 구성요소 이해
BigLake로 Iceberg 레이크하우스를 빌드하려면 먼저 Cloud Storage에 데이터를 저장합니다. 그런 다음 Apache Iceberg의 BigLake 테이블을 사용하여 이 데이터를 정의합니다. BigLake Metastore는 이러한 Iceberg 테이블을 위한 중앙 집중식 서버리스 카탈로그 역할을 하여 복잡한 인프라를 관리할 필요가 없습니다. 이 설정을 사용하면 Iceberg 호환 엔진이 데이터에 일관되게 액세스하고 관리할 수 있으므로 통합되고 개방적이며 확장 가능한 레이크하우스 환경을 쉽게 구축할 수 있습니다.
튜토리얼, 빠른 시작, 실습
개방형 데이터 레이크하우스의 Google Cloud 구성요소 이해
개방형 데이터 레이크하우스의 Google Cloud 구성요소 이해
BigLake로 Iceberg 레이크하우스를 빌드하려면 먼저 Cloud Storage에 데이터를 저장합니다. 그런 다음 Apache Iceberg의 BigLake 테이블을 사용하여 이 데이터를 정의합니다. BigLake Metastore는 이러한 Iceberg 테이블을 위한 중앙 집중식 서버리스 카탈로그 역할을 하여 복잡한 인프라를 관리할 필요가 없습니다. 이 설정을 사용하면 Iceberg 호환 엔진이 데이터에 일관되게 액세스하고 관리할 수 있으므로 통합되고 개방적이며 확장 가능한 레이크하우스 환경을 쉽게 구축할 수 있습니다.
BigQuery를 사용한 고급 분석
금융 서비스에 실시간 통계 및 예측 제공
금융 서비스에 실시간 통계 및 예측 제공
거래 또는 시장 피드와 같은 진화하는 데이터 레이크 데이터 세트에 Apache Iceberg를 사용하할 수 있습니다. BigLake를 사용하면 BigQuery에서 데이터 이동 없이 네이티브 스토리지와 함께 Iceberg 테이블을 쿼리할 수 있습니다. BigLake를 통해 이전 Iceberg 데이터와 결합하여 실시간 스트림을 BigQuery로 수집하여 즉각적이고 포괄적인 분석을 수행할 수 있습니다. 그런 다음 BigQuery ML은 시장 변동성 및 사기 감지와 같은 실시간 통계와 신용 위험 및 고객 행동과 같은 예측 모델을 생성합니다.
튜토리얼, 빠른 시작, 실습
금융 서비스에 실시간 통계 및 예측 제공
금융 서비스에 실시간 통계 및 예측 제공
거래 또는 시장 피드와 같은 진화하는 데이터 레이크 데이터 세트에 Apache Iceberg를 사용하할 수 있습니다. BigLake를 사용하면 BigQuery에서 데이터 이동 없이 네이티브 스토리지와 함께 Iceberg 테이블을 쿼리할 수 있습니다. BigLake를 통해 이전 Iceberg 데이터와 결합하여 실시간 스트림을 BigQuery로 수집하여 즉각적이고 포괄적인 분석을 수행할 수 있습니다. 그런 다음 BigQuery ML은 시장 변동성 및 사기 감지와 같은 실시간 통계와 신용 위험 및 고객 행동과 같은 예측 모델을 생성합니다.
모든 데이터 사용자에게 단일 데이터 사본에 대한 액세스 제공
가격 책정
| BigLake 가격 책정 방식 | BigLake 가격은 테이블 관리, 메타데이터 스토리지, 메타데이터 액세스를 기준으로 책정됩니다. | |
|---|---|---|
| 서비스 및 사용량 | 설명 | 가격(USD) |
BigLake 테이블 관리 | 자동 테이블 스토리지 최적화에 사용되는 BigLake 테이블 관리 컴퓨팅 리소스입니다. | 시작 가격 $0.12 DCU-시간당 |
BigLake 메타데이터 스토리지 | BigLake Metastore는 저장된 메타데이터에 대해 요금을 부과합니다. 무료 등급에는 월 1GiB의 메타데이터 스토리지가 포함됩니다. | 시작 가격 $0.04 매월 1GiB당 |
BigLake 메타데이터 액세스 | A 클래스 작업: 쓰기, 업데이트, 목록, 생성, 구성 작업에 대한 BigLake 메타데이터 액세스 요금으로, 무료 등급(월 5,000회 작업)이 포함됩니다. | 시작 가격 $6.00 작업 백만 개당 |
클래스 B 작업: 읽기, 가져오기, 삭제 작업에 대한 BigLake 메타데이터 액세스 요금으로, 무료 등급(월 50,000회 작업)이 포함됩니다. | 시작 가격 $0.90 작업 백만 개당 | |
BigLake 가격 책정 방식
BigLake 가격은 테이블 관리, 메타데이터 스토리지, 메타데이터 액세스를 기준으로 책정됩니다.
BigLake 테이블 관리
자동 테이블 스토리지 최적화에 사용되는 BigLake 테이블 관리 컴퓨팅 리소스입니다.
Starting at
$0.12
DCU-시간당
BigLake 메타데이터 스토리지
BigLake Metastore는 저장된 메타데이터에 대해 요금을 부과합니다. 무료 등급에는 월 1GiB의 메타데이터 스토리지가 포함됩니다.
Starting at
$0.04
매월 1GiB당
BigLake 메타데이터 액세스
A 클래스 작업: 쓰기, 업데이트, 목록, 생성, 구성 작업에 대한 BigLake 메타데이터 액세스 요금으로, 무료 등급(월 5,000회 작업)이 포함됩니다.
Starting at
$6.00
작업 백만 개당
클래스 B 작업: 읽기, 가져오기, 삭제 작업에 대한 BigLake 메타데이터 액세스 요금으로, 무료 등급(월 50,000회 작업)이 포함됩니다.
Starting at
$0.90
작업 백만 개당