BigQuery에서 BigLake Iceberg 테이블 구성

이 페이지에서는 BigQuery의 BigLake Iceberg 테이블로 복제하기 위해 Datastream을 구성하는 방법을 설명합니다.

BigLake Iceberg 테이블로 스트리밍하면 PARQUET 형식으로 비용 효율적인 방식으로 데이터를 저장할 수 있습니다. 이렇게 하면 BigQuery를 사용하여 쿼리 및 분석하는 동안 Cloud Storage 버킷에 데이터를 보관할 수 있습니다.

BigLake Iceberg 테이블에 스트리밍 구성

BigLake Iceberg 테이블에 데이터를 수집하도록 스트림을 설정하려면 다음 단계를 따르세요.

  1. 데이터를 저장할 Cloud Storage 버킷을 만듭니다.
  2. BigQuery에서 Cloud 리소스 연결을 만듭니다. 이 유형의 연결을 만드는 방법에 대한 자세한 내용은 Cloud 리소스 연결 만들기 및 설정을 참고하세요.

  3. 연결 서비스 계정의 식별자를 가져옵니다.

    bq show --location=LOCATION --connection --project_id=PROJECT_ID
CONNECTION_NAME

  4. 생성된 Cloud Storage 버킷에 대한 Cloud 리소스 연결 액세스 권한을 부여합니다. 이렇게 하려면 연결 서비스 계정에 storage.admin IAM 권한을 추가하세요.

    gcloud storage buckets add-iam-policy-binding gs://YOUR_GCS_BUCKET \
--member=serviceAccount:YOUR_SERVICE_ACCOUNT_ID \
--role=roles/storage.admin

  5. BigLake Iceberg 테이블 스트림을 만듭니다.

    Google Cloud 콘솔을 사용하여 BigLake Iceberg 테이블 스트림을 만드는 방법에 관한 자세한 내용은 스트림 만들기를 참고하세요.

    REST, Google Cloud CLI 또는 Terraform을 사용하여 BigLake Iceberg 테이블로 데이터를 스트리밍하는 요청을 만드는 방법은 API를 사용하여 스트림 관리를 참고하세요.

다음 단계