Configura tablas de BigLake Iceberg en BigQuery

En esta página, se describe cómo configurar Datastream para la replicación en tablas de BigLake Iceberg en BigQuery.

La transmisión a las tablas de Iceberg de BigLake te permite almacenar datos de forma rentable en el formato PARQUET. De esta manera, puedes mantener tus datos en un bucket de Cloud Storage y usar BigQuery para realizar consultas y análisis.

Configura la transmisión a las tablas de BigLake Iceberg

Para configurar tu transmisión y transferir datos a las tablas de Iceberg de BigLake, haz lo siguiente:

  1. Crea un bucket de Cloud Storage en el que desees almacenar tus datos.
  2. Crea una conexión al recurso de Cloud en BigQuery. Para obtener información sobre cómo crear este tipo de conexión, consulta Crea y configura una conexión de recursos de Cloud.

  3. Obtén el identificador de la cuenta de servicio de conexión:

    bq show --location=LOCATION --connection --project_id=PROJECT_ID
CONNECTION_NAME

  4. Otorga acceso a la conexión de recursos de Cloud al bucket de Cloud Storage que creaste. Para ello, agrega el permiso de IAM storage.admin a la cuenta de servicio de la conexión:

    gcloud storage buckets add-iam-policy-binding gs://YOUR_GCS_BUCKET \
--member=serviceAccount:YOUR_SERVICE_ACCOUNT_ID \
--role=roles/storage.admin

  5. Crea una transmisión de tablas de BigLake Iceberg.

    Para obtener información sobre cómo crear una transmisión de tablas de Iceberg de BigLake con la consola de Google Cloud , consulta Crea una transmisión.

    Para obtener información sobre cómo crear una solicitud para transmitir datos a tablas de BigLake Iceberg con REST, Google Cloud CLI o Terraform, consulta Administra transmisiones con la API.

¿Qué sigue?