Cloud Composer

オンプレミスとパブリック クラウドにまたがるワークフローをオーケストレートすることで、クラウドへの移行が容易になり、ハイブリッド データ環境を維持することもできます。 複数のクラウドにまたがってデータ接続、処理、サービスを提供するワークフローを作成し、統一的なデータ環境を提供します。

Cloud Composer は Apache Airflow で構築されています。特定のベンダーへの依存を解消し、ポータビリティをもたらします。Google も貢献しているこのオープンソース プロジェクトは、特定のベンダーに依存することなく、さまざまなプラットフォームと組み合わせて利用できます。対象のプラットフォームは、Airflow コミュニティが拡大するにつれて増えていきます。

Cloud Composer のパイプラインは、Python を使用して有向非巡回グラフ（DAG）として構成されており、あらゆるユーザーが簡単に使用できます。デプロイはワンクリックで完了するため、すぐにコネクタの豊富なライブラリにアクセスし、実行中のワークフローをさまざまな形式でグラフィカルに表示できます。これにより、トラブルシューティングが容易になります。また、有向非巡回グラフは自動的に同期されるため、ジョブをスケジュールに沿って確実に実行できます。

主な機能強化には、監査性と確実なロールバックのための DAG のバージョニング、履歴データの再処理を簡素化するスケジューラ主導のバックフィルなどがあります。新しいタスク実行 API と SDK により、将来の多言語サポートと隔離されたタスク環境への道が開かれます。ユーザーは、ナビゲーションが改善された、より高速でモダンな React ベースの UI を利用できます。計画されたイベント ドリブン スケジューリングは、より反応性が高く、準リアルタイムのパイプラインを目指しています。Edge Executor はリモートタスクの実行を最適化し、分割された CLI（airflow/airflowctl）は開発と運用でより明確なコマンドライン エクスペリエンスを提供します。