Cloud Composer
在 Apache Airflow 上打造全代管的工作流程自動化調度管理服務。
新客戶可獲得 $300 美元的免費抵免額，有效期間為 90 天，可用於 Composer 或其他 Google Cloud 產品。
編寫、監控橫跨混合雲與多雲端環境的管道及排定時程
以 Apache Airflow 開放原始碼專案為建構基礎，並使用 Python 執行作業
讓您擺脫單一架構的限制，而且簡單易用
Apache Airflow 3 全新支援服務 (預先發布版)
優點
全代管工作流程自動化調度管理
Cloud Composer 的代管特性搭配 Apache Airflow 相容性，可讓您專心建立、監控工作流程並安排時程，不需要煩惱佈建資源的問題。
可整合其他 Google Cloud 產品
端對端整合 Google Cloud 產品，包括 BigQuery、Dataflow、Dataproc、Datastore、Cloud Storage、Pub/Sub 和 AI 平台，讓使用者自由選擇要以何種方式全面自動化調度管理管道。
支援混合雲與多雲端
透過單一自動化調度管理工具，無論管道是位於地端部署系統、多雲端環境或完全位於 Google Cloud，您都能建立、監控工作流程並安排時程。
主要功能與特色
主要功能與特色
混合式雲端與多雲端
透過自動化調度管理橫跨內部部署和公用雲端的工作流程，簡化遷移至雲端的作業，或維持混合式資料環境。建立可以跨雲端連結資料、處理作業和服務的工作流程，享受整合式的資料環境。
開放原始碼
Cloud Composer 建立在 Apache Airflow 上，讓使用者不再受限於單一架構，能輕鬆移轉資料。這項由 Google 回饋贊助的開放原始碼專案可讓客戶擺脫單一架構束縛，並與許多平台進行整合。隨著 Airflow 社群不斷擴展，這些平台的數量勢必會持續成長。
輕鬆執行自動化調度管理
Cloud Composer 管道是以 Python 設為有向非循環圖 (DAG)，因此任何使用者都能輕鬆使用。按一下滑鼠即可部署，讓您立即存取豐富的連接器資料庫，並透過多個圖表查看工作流程的運作情況，這麼一來，就能輕而易舉地進行疑難排解程序。自動同步處理的 DAG 還能確保工作按照時間表進行。
強化資料工作流程的建構、管理和監控機制
主要增強功能包括 DAG 版本管理功能，可讓使用者稽核資料並安心復原；以及由排程器管理的補充功能，有助於簡化歷來資料的重新處理作業。新的 Task Execution API 和 SDK 推出後，使用者日後將能享有多語言支援，以及獨立的工作環境。另外，我們也推出以 React 為基礎的新型使用者介面，不僅運作快速，操作起來也更容易。有了預定事件導向排程功能，就能打造回應更迅速、處理速度近乎即時的管道。Edge Executor 可以最佳方式執行遠端工作，分隔的 CLI (airflow/airflowctl) 則可讓使用者透過更清晰的指令列介面進行開發運作工作。
說明文件
說明文件
使用案例
使用案例
瞭解 Cloud Composer 的應用實例
- 資料管道 (ETL/ELT) 自動化調度管理：自動處理複雜的資料工作流程，包括擷取、轉換和載入 (ETL/ELT) 工作，以及管理工作間的依附關係。
- MLOps 和機器學習工作流程：自動調度管理端對端機器學習生命週期，涵蓋資料準備、模型訓練/評估、部署和監控等階段。
- 商業智慧 (BI) 自動化：排定 BI 工具的資料擷取時間，自動生成報表及重新整理資訊主頁。
- 基礎架構和開發運作自動化：自動執行雲端基礎架構工作，例如佈建及停用叢集、提交工作、管理 CI/CD 發布程序等。
- 混合雲和多雲端資料整合：協調不同來源 (包括其他雲端服務供應商和地端部署資料中心) 的資料流程，進而建立經過整合的資料集。
所有功能與特色
所有功能與特色
| 多雲端 | 建立連結資料、處理和服務的跨雲端工作流程，提供整合的雲端環境。 |
| 開放原始碼 | Cloud Composer 建立在 Apache Airflow 上，讓使用者不再受限於單一架構，能輕鬆移轉資料。 |
| 混合式 | 透過自動化調度管理橫跨內部部署和公用雲端的工作流程，簡化遷移至雲端的作業，或維持混合式資料環境。 |
| 整合時間 | |
| Python 程式設計語言 | 利用現有的 Python 技能，在 Cloud Composer 中以靈活的方式，建立工作流程並進行排程。 |
| 可靠性 | 透過簡單易用的圖表進行監控，以及排解問題的根本原因，增加工作流程的可靠性。 |
| 全代管 | Cloud Composer 的代管特性讓您專注在建立、安排及控管工作流程上，不需煩惱佈建資源的問題。 |
| 網路與安全 | 建立環境時，Cloud Composer 提供以下設定選項：私人 IP、Shared VPC、VPC Service Controls、CMEK 加密支援等。 |