Cloud Composer
Apache Airflow를 기반으로 하는 완전 관리형 워크플로 조정 서비스입니다.
신규 고객에게는 처음 90일 동안 Composer 또는 기타 Google Cloud 제품에 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.
하이브리드 및 멀티 클라우드 환경을 아우르는 파이프라인을 작성, 일정 예약, 모니터링합니다.
Apache Airflow 오픈소스 프로젝트에 빌드되며 Python으로 작동
종속되지 않고 사용이 간편합니다.
Apache Airflow 3(프리뷰)에 대한 새로운 지원
이점
완전 관리형 워크플로 조정
Cloud Composer만의 관리 기능과 Apache Airflow 호환성 덕분에 리소스를 프로비저닝하기보다 워크플로 작성, 예약, 모니터링에 집중할 수 있습니다.
다른 Google Cloud 제품과 통합
BigQuery, Dataflow, Dataproc, Datastore, Cloud Storage, Pub/Sub, AI Platform 등의 Google Cloud 제품과 엔드 투 엔드 통합을 통해 사용자는 자유롭게 파이프라인을 완전히 조정할 수 있습니다.
하이브리드 및 멀티 클라우드 지원
파이프라인이 온프레미스, 여러 클라우드, Google Cloud 내부 등 어디에 위치하든 관계없이 단일 조정 도구를 통해 워크플로를 작성, 예약, 모니터링합니다.
주요 특징
주요 특징
하이브리드 및 멀티 클라우드
온프레미스와 퍼블릭 클라우드를 잇는 워크플로를 조정하여 클라우드로의 이전 과정을 간소화하거나 하이브리드 데이터 환경을 유지하세요. 여러 클라우드에 걸쳐 데이터, 처리, 서비스를 연결하는 워크플로를 만들어 통합된 데이터 환경을 제공합니다.
오픈소스
Cloud Composer는 Apache Airflow를 기반으로 빌드되어 사용자에게 특정 서비스에 종속되지 않을 자유와 이동성을 선사합니다. Google에서도 참여하고 있는 이 오픈소스 프로젝트는 광범위한 플랫폼과 통합되는 것은 물론 고객에게 특정 서비스에 종속되지 않을 자유를 줍니다. 지원 플랫폼의 수는 Airflow 커뮤니티의 성장에 따라 계속 늘어날 전망입니다.
간편한 조정
Cloud Composer 파이프라인은 Python을 사용한 DAG(Directed Acyclic Graph)로 구성되어 있어 모든 사용자가 쉽게 사용할 수 있습니다. 클릭 한 번으로 배포하여 실제 워크플로의 다양한 커넥터와 여러 그래픽 표현이 들어 있는 라이브러리에 즉시 액세스할 수 있으므로 문제 해결 과정을 간소화할 수 있습니다. DAG(Directed Acyclic Graph)의 자동 동기화 기능 덕분에 일정에 맞춰 업무를 처리할 수 있습니다.
데이터 워크플로의 빌드, 관리, 모니터링 방식 개선
주요 개선사항으로는 감사 가능성과 안정적인 롤백을 위한 DAG 버전 관리, 더 간단한 과거 데이터 재처리를 위한 스케줄러 관리 백필이 있습니다. 새로운 Task Execution API 및 SDK는 향후 다국어 지원 및 격리된 작업 환경을 위한 길을 열어줍니다. 사용자는 개선된 탐색 기능을 갖춘 더 빠르고 현대적인 React 기반 UI를 활용할 수 있습니다. 계획된 이벤트 기반 일정 예약은 보다 반응성이 높은 거의 실시간 파이프라인을 목표로 합니다. Edge Executor는 원격 작업 실행을 최적화하고 분할된 CLI(airflow/airflowctl)는 개발 및 운영을 위한 더 명확한 명령줄 환경을 제공합니다.
문서
문서
사용 사례
사용 사례
Cloud Composer 사용 사례 살펴보기
- 데이터 파이프라인 조정(ETL/ELT): 추출, 변환, 로드(ETL/ELT) 작업을 포함한 복잡한 데이터 워크플로를 자동화하고 작업 간의 종속 항목을 관리합니다.
- MLOps 및 머신러닝 워크플로: 데이터 준비 및 모델 학습/평가부터 배포 및 모니터링에 이르는 엔드 투 엔드 ML 수명 주기를 조정합니다.
- 비즈니스 인텔리전스(BI) 자동화: BI 도구의 데이터 추출을 예약하고, 보고서 생성을 자동화하며, 대시보드를 새로고침합니다.
- 인프라 및 DevOps 자동화: 클러스터 프로비저닝 및 사용 중단, 작업 제출, CI/CD 출시 프로세스 관리와 같은 클라우드 인프라 작업을 자동화합니다.
- 하이브리드 및 멀티 클라우드 데이터 통합: 다른 클라우드 제공업체와 온프레미스 데이터 센터를 포함한 다양한 소스 전반에서 데이터 흐름을 조정하여 통합 데이터 세트를 만듭니다.
모든 특징
모든 기능
| 멀티 클라우드 | 데이터, 처리, 서비스를 여러 클라우드에 걸쳐 연결하여 통일된 데이터 환경을 조성하는 워크플로를 생성합니다. |
| 오픈소스 | Cloud Composer는 Apache Airflow를 기반으로 빌드되어 사용자에게 특정 서비스에 종속되지 않을 자유와 이동성을 선사합니다. |
| 하이브리드 | 온프레미스와 퍼블릭 클라우드를 잇는 워크플로를 조정하여 클라우드로의 이전 과정을 간소화하거나 하이브리드 데이터 환경을 유지하세요. |
| 통합 | |
| Python 프로그래밍 언어 | 기존 Python 기술을 활용하여 Cloud Composer 내에서 워크플로를 동적으로 작성하고 워크플로 일정을 예약하세요. |
| 안정성 | 문제의 근본 원인을 모니터링하고 해결하는 간편한 차트를 통해 워크플로의 신뢰성을 높입니다. |
| 완전 관리형 | Cloud Composer만의 관리 기능 덕분에 리소스를 프로비저닝할 때보다 워크플로 작성, 일정 예약, 모니터링에 집중할 수 있습니다. |
| 네트워킹 및 보안 | 환경을 생성하는 동안 Cloud Composer는 비공개 IP, 공유 VPC, VPC 서비스 제어, CMEK 암호화 지원 등의 구성 옵션을 제공합니다. |