데이터 통합

Google Cloud가 2024년 Gartner Magic Quadrant의 데이터 통합 도구 부문에서 리더로 선정되었습니다. 보고서 받기

데이터 통합 및 ELT

Google Cloud의 완전 관리형 데이터 플랫폼인 BigQuery는 데이터 통합 및 분석을 위한 비용 효율적이고 확장 가능한 솔루션입니다.

개요

BigQuery를 사용한 데이터 통합 및 ELT

ELT(추출, 로드, 변환)은 Google Cloud에서 데이터 통합을 위해 권장하는 패턴입니다. ELT에는 소스 시스템에서 데이터를 추출하고 BigQuery에 로드한 다음 분석을 위해 원하는 형식으로 변환하는 작업이 포함됩니다. 데이터 웨어하우스에 로드하기 전에 데이터를 변환하는 ETL(추출, 변환, 로드)과 달리 ELT 접근 방식을 사용하면 BigQuery의 모든 기능을 활용하여 데이터 변환을 수행하고 모든 SQL 사용자가 데이터 통합 파이프라인을 효과적으로 개발할 수 있습니다.

ELT를 통한 TTM(time to market) 가속화 및 비용 절감

ELT 접근 방식은 학습 곡선을 최소화하는 익숙한 데이터 중심 프레임워크를 제공하여 TTM(time to market)을 가속화합니다. ELT는 별도의 ETL 인프라가 필요하지 않으므로 로드 전에 데이터 변환과 관련된 비용을 절감할 수 있습니다.

기본 제공 거버넌스를 통한 확장성 및 성능

BigQuery의 아키텍처는 대규모 확장성과 병렬 처리를 지원하여 대규모 데이터 세트와 복잡한 변환을 효율적으로 처리할 수 있습니다. ELT는 BigQuery에 데이터를 중앙 집중화하여 데이터 거버넌스를 용이하게 만들고 플랫폼에 내장된 일관된 데이터 품질 및 보안 정책을 지원합니다.

유연성과 선택권을 갖춘 데이터 통합

BigQuery는 Apache Iceberg를 비롯한 다양한 데이터 소스와 형식을 지원하여 다양한 데이터를 유연하게 통합할 수 있습니다. 또한 데이터 선택 외에도 언어 선택에 유연성이 있습니다. ELT의 주요 이점은 SQL이 여러 SDLC 파이프라인에 적합하다는 것입니다.

BigQuery로 데이터 가져오기

BigQuery로 데이터 가져오기	ELT를 사용한 BigQuery의 데이터 통합 경로
단계	솔루션
추출 및 로드	일괄 로드: BigQuery Data Transfer Service(DTS)는 지원되는 데이터 소스에서 BigQuery로 데이터를 일괄 로드하는 과정을 자동화합니다. 스트리밍 부하: Pub/Sub BigQuery 구독은 수신되는 Pub/Sub 메시지를 기존 BigQuery 테이블에 기록합니다. 변경 데이터 캡처(CDC): Datastream은 데이터베이스에서 BigQuery로의 비간섭 변경 데이터 캡처(CDC)를 지원합니다. 외부 데이터 소스와의 제휴: BigQuery는 데이터 이동이 필요하지 않은 여러 외부 데이터 소스와의 제휴를 지원합니다.
변환	BigQuery의 변환 기능은 BigQuery DML로 SQL 데이터 변환을 공동으로 빌드, 테스트, 문서화하는 도구인 Dataform으로 빌드됩니다. 데이터를 더 쉽게 변환할 수 있도록 Dataform을 활용하는 두 가지 강력한 환경을 만들었습니다. AI 기반 데이터 변환: BigQuery 데이터 준비(프리뷰 버전)는 데이터 정리, 변환, 보강을 위한 지능형 추천을 제공하므로 데이터 준비 작업에 필요한 시간과 노력을 줄일 수 있습니다. SQL 기반 시각적 데이터 변환: BigQuery 워크플로(프리뷰 버전)는 단순한 워크플로를 대화식으로 빌드할 수 있는 시각적 사용자 환경을 제공합니다.
대규모 데이터 마이그레이션	위에 설명한 패턴 외에도 Google Cloud로 마이그레이션할 때 기존 데이터 웨어하우스에서 BigQuery로 대량의 데이터를 마이그레이션해야 할 수 있습니다. BigQuery Migration Service는 고객이 추가 데이터 분석을 위해 기존 데이터 웨어하우스를 BigQuery로 로드할 수 있는 완전 관리형 서비스입니다.

BigQuery로 데이터 가져오기

ELT를 사용한 BigQuery의 데이터 통합 경로

추출 및 로드

솔루션

일괄 로드: BigQuery Data Transfer Service(DTS)는 지원되는 데이터 소스에서 BigQuery로 데이터를 일괄 로드하는 과정을 자동화합니다.

스트리밍 부하: Pub/Sub BigQuery 구독은 수신되는 Pub/Sub 메시지를 기존 BigQuery 테이블에 기록합니다.

변경 데이터 캡처(CDC): Datastream은 데이터베이스에서 BigQuery로의 비간섭 변경 데이터 캡처(CDC)를 지원합니다.

외부 데이터 소스와의 제휴: BigQuery는 데이터 이동이 필요하지 않은 여러 외부 데이터 소스와의 제휴를 지원합니다.

변환

솔루션

BigQuery의 변환 기능은 BigQuery DML로 SQL 데이터 변환을 공동으로 빌드, 테스트, 문서화하는 도구인 Dataform으로 빌드됩니다. 데이터를 더 쉽게 변환할 수 있도록 Dataform을 활용하는 두 가지 강력한 환경을 만들었습니다.

AI 기반 데이터 변환: BigQuery 데이터 준비(프리뷰 버전)는 데이터 정리, 변환, 보강을 위한 지능형 추천을 제공하므로 데이터 준비 작업에 필요한 시간과 노력을 줄일 수 있습니다.

SQL 기반 시각적 데이터 변환: BigQuery 워크플로(프리뷰 버전)는 단순한 워크플로를 대화식으로 빌드할 수 있는 시각적 사용자 환경을 제공합니다.

대규모 데이터 마이그레이션

솔루션

위에 설명한 패턴 외에도 Google Cloud로 마이그레이션할 때 기존 데이터 웨어하우스에서 BigQuery로 대량의 데이터를 마이그레이션해야 할 수 있습니다. BigQuery Migration Service는 고객이 추가 데이터 분석을 위해 기존 데이터 웨어하우스를 BigQuery로 로드할 수 있는 완전 관리형 서비스입니다.

작동 방식

BigQuery는 데이터 엔지니어와 애플리케이션 개발자에게 파이프라인을 빌드, 예약, 관리하는 데 도움이 되는 풍부한 제품 및 기능 포트폴리오를 제공합니다. 광범위한 서비스 제품군은 ETL과 ELT 패러다임 중에서 선택할 수 있는 유연성을 제공합니다.

이 동영상을 시청하고 ELT와 ETL의 차이점을 알아보세요.

일반적인 용도

BigQuery와의 엔드 투 엔드 데이터 통합