使用自動資料品質

本頁面說明如何建立 Dataplex Universal Catalog 資料品質掃描作業。

如要瞭解資料品質掃描作業，請參閱「關於自動分析資料品質」。

事前準備

1. 啟用 Dataplex API。

   啟用 API

2. 選用：如要讓 Dataplex Universal Catalog 根據資料剖析掃描結果，產生資料品質規則建議，請建立並執行資料剖析掃描。

必要的角色

• 如要對 BigQuery 資料表執行資料品質掃描，您需要有權讀取 BigQuery 資料表，以及在用於掃描資料表的專案中建立 BigQuery 工作的權限。

• 如果 BigQuery 資料表和資料品質掃描位於不同專案，您需要為包含資料品質掃描的專案，授予對應 BigQuery 資料表的讀取權限給 Dataplex Universal Catalog 服務帳戶。

• 如果資料品質規則參照其他資料表，掃描專案的服務帳戶必須對這些資料表擁有讀取權限。

• 如要取得將掃描結果匯出至 BigQuery 資料表所需的權限，請管理員在結果資料集和資料表上，授予 Dataplex Universal Catalog 服務帳戶「BigQuery 資料編輯者」(roles/bigquery.dataEditor) 身分與存取權管理角色。這會授予下列權限：

  • bigquery.datasets.get
  • bigquery.tables.create
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.update
  • bigquery.tables.updateData

• 如果 BigQuery 資料是透過 Dataplex Universal Catalog 湖泊整理，請授予 Dataplex Universal Catalog 服務帳戶 Dataplex 中繼資料讀取者 (roles/dataplex.metadataReader) 和 Dataplex 檢視者 (roles/dataplex.viewer) IAM 角色。 或者，您需要具備下列所有權限：

  • dataplex.lakes.list
  • dataplex.lakes.get
  • dataplex.zones.list
  • dataplex.zones.get
  • dataplex.entities.list
  • dataplex.entities.get
  • dataplex.operations.get

• 如要掃描 Cloud Storage 中的 BigQuery 外部資料表，請將該 bucket 的 Cloud Storage roles/storage.objectViewer 角色授予 Dataplex Universal Catalog 服務帳戶。或者，您也可以將下列權限指派給 Dataplex Universal Catalog 服務帳戶：

  • storage.buckets.get
  • storage.objects.get

• 如要將資料品質掃描結果發布為 Dataplex Universal Catalog 中繼資料，您必須取得資料表的 BigQuery 資料編輯者 (roles/bigquery.dataEditor) IAM 角色，以及資料表所在位置的 @bigquery 項目群組 dataplex.entryGroups.useDataQualityScorecardAspect 權限。或者，您必須在與資料表相同位置的 @bigquery 項目群組中，獲派 Dataplex Catalog 編輯者 (roles/dataplex.catalogEditor) 角色。

  或者，您需要具備下列所有權限：

  • bigquery.tables.get
  • bigquery.tables.update
  • bigquery.tables.updateData
  • bigquery.tables.delete
  • dataplex.entryGroups.useDataQualityScorecardAspect

  或者，您需要下列所有權限：

  • dataplex.entries.update
  • dataplex.entryGroups.useDataQualityScorecardAspect

• 如要存取受 BigQuery 資料欄層級存取權政策保護的資料欄，請為這些資料欄指派 Dataplex Universal Catalog 服務帳戶權限。建立或更新資料掃描的使用者也需要欄的權限。

• 如果資料表已啟用 BigQuery 資料列層級存取權政策，您就只能掃描 Dataplex Universal Catalog 服務帳戶可見的資料列。請注意，系統不會評估個別使用者的存取權，是否符合資料列層級政策。

必要的資料掃描角色

如要使用自動分析資料品質功能，您必須具備執行資料掃描的權限，或是具備執行資料掃描的預先定義權限角色。

下表列出 DataScan 權限：

授予使用者下列一或多個角色：

• DataScan 資源的完整存取權：Dataplex DataScan 管理員 (roles/dataplex.dataScanAdmin)
• DataScan 資源的寫入權限：Dataplex DataScan 編輯者 (roles/dataplex.dataScanEditor)
• 具備 DataScan 資源的讀取權限，但不包括規則和結果： Dataplex DataScan 檢視者 (roles/dataplex.dataScanViewer)

• DataScan 資源的讀取權，包括規則和結果： Dataplex DataScan 資料檢視者 (roles/dataplex.dataScanDataViewer)

  注意：如要建立 DataScan，使用者也需要 Dataplex DataScan 建立者 (roles/dataplex.dataScanCreator 專案)

定義資料品質規則

您可以使用內建規則或自訂 SQL 檢查定義資料品質規則。如果您使用 Google Cloud CLI，可以在 JSON 或 YAML 檔案中定義這些規則。

下列各節的範例說明如何定義各種資料品質規則。這些規則會驗證含有顧客交易資料的範例表格。假設資料表具有下列結構定義：

使用內建規則類型定義資料品質規則

下列範例規則是以內建規則類型為準。您可以使用 Google Cloud 控制台或 API，根據內建規則類型建立規則。Dataplex Universal Catalog 可能會建議部分規則。

使用自訂 SQL 規則定義資料品質規則

如要建構自訂 SQL 規則，請使用下列架構：

• 建立一次評估一個資料列的規則時，請建立運算式，在 Dataplex Universal Catalog 評估查詢 SELECT COUNTIF(CUSTOM_SQL_EXPRESSION) FROM TABLE 時，產生成功資料列的數量。Dataplex Universal Catalog 會根據門檻檢查成功列數。

• 建立評估資料列或使用資料表條件的規則時，請建立運算式，讓 Dataplex Universal Catalog 評估查詢 SELECT IF(CUSTOM_SQL_EXPRESSION) FROM TABLE 時傳回成功或失敗。

• 建立規則來評估資料集的無效狀態時，請提供會傳回無效資料列的陳述式。如果傳回任何資料列，即代表這項規則失敗。省略 SQL 陳述式結尾的分號。

• 您可以在規則中使用資料參照參數 ${data()}，參照資料來源表格及其所有前提條件篩選器，而不必明確提及來源表格及其篩選器。前置條件篩選器的範例包括資料列篩選器、取樣百分比和遞增篩選器。${data()} 參數會區分大小寫。

下列範例規則是以自訂 SQL 規則為準。

        CREATE OR REPLACE FUNCTION
        myProject.myDataset.average_by_country (
          country STRING, average FLOAT64)
        RETURNS BOOL LANGUAGE js AS R"""
        if (country = "CAN" && average < 5000){
          return 1
        } else if (country = "IND" && average < 1000){
          return 1
        } else { return 0 }
        """;
       

        myProject.myDataset.average_by_country(
        "CAN",
        (SELECT avg(amount) FROM
          myProject.myDataset.transactions_table
            WHERE currency_id = 'CAN'
        ))
      

  CREATE MODEL
  model-project-id.dataset-id.model-name
        OPTIONS(model_type='logistic_reg') AS
  SELECT
  IF(discount_pct IS NULL, 0, 1) AS label,
  IFNULL(customer_id, "") AS customer,
  IFNULL(currency_id, "") AS currency,
  IFNULL(amount, 0.0) AS amount
  FROM
  `data-project-id.dataset-id.table-names`
  WHERE transaction_timestamp < '2022-01-01';
  

      SELECT
        accuracy > 0.99
      FROM
       ML.EVALUATE
        (MODEL model-project-id.dataset-id.model-name,
         (
          SELECT
            customer_id,
            currency_id,
            amount,
            discount_pct
          FROM
            data-project-id.dataset-id.table-names
          WHERE transaction_timestamp > '2022-01-01';
         )
        )
    

  CREATE MODEL
  model-project-id.dataset-id.model-name
        OPTIONS(model_type='logistic_reg') AS
  SELECT
  IF(discount_pct IS NULL, 0, 1) AS label,
  IFNULL(customer_id, "") AS customer,
  IFNULL(currency_id, "") AS currency,
  IFNULL(amount, 0.0) AS amount
  FROM
  `data-project-id.dataset-id.table-names`
  WHERE transaction_timestamp < '2022-01-01';
  

       IF(discount_pct > 0, 1, 0)
          =(SELECT predicted_label FROM
           ML.PREDICT(
            MODEL model-project-id.dataset-id.model-name,
              (
                SELECT
                  customer_id,
                  currency_id,
                  amount,
                  discount_pct
                FROM
                  data-project-id.dataset-id.table-names AS t
                    WHERE t.transaction_timestamp =
                     transaction_timestamp
                   LIMIT 1
              )
            )
         )
    

使用 gcloud CLI 定義資料品質規則

下列 YAML 檔案範例使用的部分規則，與使用內建型別的範例規則和範例自訂 SQL 規則相同。您可以將這個 YAML 檔案做為 gcloud CLI 指令的輸入內容。

rules:
- uniquenessExpectation: {}
  column: transaction_id
  dimension: UNIQUENESS
- nonNullExpectation: {}
  column: amount
  dimension: COMPLETENESS
  threshold: 1
- regexExpectation:
    regex: '^[0-9]{8}[a-zA-Z]{16}$'
  column : customer_id
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- setExpectation :
    values :
    - 'USD'
    - 'JPY'
    - 'INR'
    - 'GBP'
    - 'CAN'
  column : currency_id
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- rangeExpectation:
    minValue : '0'
    maxValue : '100'
  column : discount_pct
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- rowConditionExpectation:
    sqlExpression : 0 < `discount_pct` AND `discount_pct` < 100
  column: discount_pct
  dimension: VALIDITY
  threshold: 1
- rowConditionExpectation:
    sqlExpression : currency_id in (select id from `my_project_id.dim_dataset.dim_currency`)
  column: currency_id
  dimension: VALIDITY
  threshold: 1
- tableConditionExpectation:
    sqlExpression : 30 < avg(discount_pct) AND avg(discount_pct) < 50
  dimension: VALIDITY
- rowConditionExpectation:
    sqlExpression : TIMESTAMP(transaction_timestamp) < CURRENT_TIMESTAMP()
  column: transaction_timestamp
  dimension: VALIDITY
  threshold: 1
- sqlAssertion:
    sqlStatement : SELECT * FROM `my_project_id.dim_dataset.dim_currency` WHERE discount_pct > 100
  dimension: VALIDITY

建立資料品質掃描作業

gcloud dataplex datascans create data-quality DATASCAN \
    --location=LOCATION \
    --data-quality-spec-file=DATA_QUALITY_SPEC_FILE \
    --data-source-entity=DATA_SOURCE_ENTITY

gcloud dataplex datascans create data-quality DATASCAN \
    --location=LOCATION \
    --data-quality-spec-file=DATA_QUALITY_SPEC_FILE \
    --data-source-resource=DATA_SOURCE_RESOURCE

匯出資料表結構定義

如要將資料品質掃描結果匯出至現有 BigQuery 資料表，請確認該資料表與下列結構定義相容：

為資料品質掃描工作設定 BigQueryExport 時，請遵循下列準則：

• 針對 resultsTable 欄位，請使用下列格式： //bigquery.googleapis.com/projects/{project-id}/datasets/{dataset-id}/tables/{table-id}。
• 使用 BigQuery 標準資料表。
• 如果建立或更新掃描作業時，資料表不存在，Dataplex Universal Catalog 會為您建立資料表。
• 根據預設，資料表會依 job_start_time 資料欄每日分區。
• 如要以其他設定將資料表分區，或是不想分區，請使用所需結構定義和設定重新建立資料表，然後將預先建立的資料表做為結果資料表。
• 請確認結果資料表與來源資料表位於同一位置。
• 如果專案已設定 VPC-SC，結果資料表必須與來源資料表位於同一個 VPC-SC 範圍。
• 如果在掃描執行階段修改資料表，目前執行的工作會匯出至先前的結果資料表，且資料表變更會從下一個掃描工作生效。
• 請勿修改資料表結構定義。如需自訂資料欄，請在表格上建立檢視畫面。
• 如要降低費用，請根據用途設定分區的到期時間。詳情請參閱「設定資料分割區到期時間」。

執行資料品質掃描作業

gcloud dataplex datascans run DATASCAN \
--location=LOCATION \

查看資料品質掃描結果

gcloud dataplex datascans jobs describe JOB \
--location=LOCATION \
--datascan=DATASCAN \
--view=FULL

查看歷來掃描結果

Dataplex Universal Catalog 會儲存最近 300 項工作或過去一年的資料品質掃描記錄，以先到者為準。

gcloud dataplex datascans jobs list \
--location=LOCATION \
--datascan=DATASCAN \

分享發布的結果

建立資料品質掃描作業時，如果選擇將掃描結果發布為 Dataplex Universal Catalog 中繼資料，則最新的掃描結果會顯示在Google Cloud 控制台的 BigQuery 和 Dataplex Universal Catalog 頁面，以及資料表的「資料品質」分頁中。

您可以允許貴機構的使用者存取已發布的掃描結果。如要授予掃描結果的存取權，請按照下列步驟操作：

1. 在 Google Cloud 控制台中，前往「資料剖析與品質」頁面。

   前往「資料剖析與品質」

2. 按一下要分享結果的資料品質掃描。

3. 前往「權限」分頁標籤。

4. 按一下「授予存取權」。

5. 在「New principals」(新增主體) 欄位中，新增要授予存取權的主體。

6. 在「Select a role」(選取角色) 欄位中，選取「Dataplex DataScan DataViewer」(Dataplex DataScan 資料檢視者)。

7. 按一下 [儲存]。

如要移除主體的已發布掃描結果存取權，請按照下列步驟操作：

1. 在 Google Cloud 控制台中，前往「資料剖析與品質」頁面。

   前往「資料剖析與品質」

2. 按一下要分享結果的資料品質掃描。

3. 前往「權限」分頁標籤。

4. 選取要移除「Dataplex DataScan DataViewer」角色的主體。

5. 按一下 [移除存取權]。

6. 按一下「確認」。

在 Cloud Logging 中設定快訊

如要使用 Cloud Logging 中的記錄，針對資料品質失敗設定快訊，請按照下列步驟操作：

設定工作層級或維度層級快訊的查詢範例

• 以下是範例查詢，可針對資料品質掃描的整體資料品質失敗設定快訊：

  resource.type="dataplex.googleapis.com/DataScan"
  AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
  AND resource.labels.resource_container="projects/112233445566"
  AND resource.labels.datascan_id="a0-test-dec6-dq-3"
  AND NOT jsonPayload.dataQuality.passed=true
  

• 以下是範例查詢，可針對特定資料品質掃描作業的維度 (例如唯一性) 設定資料品質失敗警告：

  resource.type="dataplex.googleapis.com/DataScan"
  AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
  AND resource.labels.resource_container="projects/112233445566"
  AND resource.labels.datascan_id="a0-test-dec6-dq-3"
  AND jsonPayload.dataQuality.dimensionPassed.UNIQUENESS=false
  

• 範例查詢：針對資料表設定資料品質失敗的警報。

  • 針對未在 Dataplex Universal Catalog lake 中整理的 BigQuery 資料表，設定資料品質失敗警報：

    resource.type="dataplex.googleapis.com/DataScan"
    AND jsonPayload.dataSource="//bigquery.googleapis.com/projects/test-project/datasets/testdataset/table/chicago_taxi_trips"
    AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
    AND resource.labels.resource_container="projects/112233445566"
    AND NOT jsonPayload.dataQuality.passed=true
    

  • 針對 Dataplex Universal Catalog lake 中整理的 BigQuery 資料表，設定資料品質失敗警報：

    resource.type="dataplex.googleapis.com/DataScan"
    AND jsonPayload.dataSource="projects/test-project/datasets/testdataset/table/chicago_taxi_trips"
    AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
    AND resource.labels.resource_container="projects/112233445566"
    AND NOT jsonPayload.dataQuality.passed=true
    

設定每項規則快訊的查詢範例

• 以下是範例查詢，可針對資料品質掃描作業中所有失敗的資料品質規則，以及指定的自訂規則名稱設定快訊：

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.ruleName="custom-name"
  AND jsonPayload.result="FAILED"
  

• 以下是範例查詢，可針對資料品質掃描作業，為特定評估類型中所有失敗的資料品質規則設定快訊：

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.evalutionType="PER_ROW"
  AND jsonPayload.result="FAILED"
  

• 以下是範例查詢，可針對資料品質掃描所用資料表中資料欄的所有失敗資料品質規則設定快訊：

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.column="CInteger"
  AND jsonPayload.result="FAILED"
  

排解資料品質失敗問題

針對每個含有失敗的資料列層級規則的工作，Dataplex Universal Catalog 會提供查詢，以取得失敗的記錄。執行這項查詢，即可查看不符合規則的記錄。

更新資料品質掃描作業

您可以編輯現有資料品質掃描作業的各種設定，例如顯示名稱、篩選器和時間表。

gcloud dataplex datascans update data-quality DATASCAN \
--location=LOCATION \
--description=DESCRIPTION

刪除資料品質掃描作業

gcloud dataplex datascans delete DATASCAN \
--location=LOCATION \
--async

後續步驟

• 瞭解資料剖析。
• 瞭解如何使用資料剖析功能。
• 按照教學課程以程式碼形式管理資料品質規則 (使用 Terraform)。