Integrasi data dan ELT
BigQuery, platform data Google Cloud yang terkelola sepenuhnya, adalah solusi hemat biaya dan skalabel untuk integrasi dan analisis data.
Ringkasan
Integrasi data dan ELT dengan BigQuery
ELT (Extract, Load, Transform) adalah pola yang direkomendasikan Google Cloud untuk integrasi data. ELT melibatkan proses mengekstrak data dari sistem sumber, memuatnya ke BigQuery, lalu mengubahnya ke format yang diinginkan untuk dianalisis. Tidak seperti ETL (Extract, Load, Transform), yang melibatkan transformasi data sebelum dimuat ke data warehouse, pendekatan ELT memungkinkan Anda menggunakan kemampuan penuh BigQuery untuk melakukan transformasi data dan pengguna SQL mana pun untuk mengembangkan pipeline integrasi data secara efektif.
Peningkatan waktu penyiapan produk dan penghematan biaya dengan ELT
Pendekatan ELT mempercepat waktu penyiapan produk dengan menawarkan framework yang familiar dan berpusat pada data yang meminimalkan kurva pembelajaran. ELT juga menghilangkan kebutuhan akan infrastruktur ETL terpisah, sehingga mengurangi biaya yang terkait dengan transformasi data sebelum dimuat.
Skalabilitas dan performa dengan tata kelola bawaan
Arsitektur BigQuery memungkinkan skalabilitas besar dan pemrosesan paralel, sehingga memungkinkan penanganan set data besar dan transformasi kompleks secara efisien. ELT memfasilitasi tata kelola data dengan memusatkan data di BigQuery, sehingga memungkinkan kualitas data yang konsisten dan kebijakan keamanan yang terintegrasi dengan platform.
Integrasi data dengan fleksibilitas dan pilihan
BigQuery mendukung berbagai sumber dan format data, termasuk Apache Iceberg, yang memberikan fleksibilitas dalam mengintegrasikan beragam data. Selain pilihan data, ada juga fleksibilitas dalam pilihan bahasa. Kecocokan SQL dengan sejumlah pipeline SDLC merupakan manfaat utama ELT.
Menghadirkan data ke BigQuery
| Menghadirkan data ke BigQuery | Jalur integrasi data BigQuery dengan ELT. |
|---|---|
| Tahap | Solusi |
Mengekstrak dan memuat | Pemuatan batch: BigQuery Data Transfer Service (DTS) mengotomatiskan pemuatan data massal dari sumber data yang didukung ke BigQuery. Pemuatan streaming: Langganan BigQuery Pub/Sub menulis pesan Pub/Sub ke tabel BigQuery yang ada saat pesan diterima. Change data capture (CDC): Datastream mendukung change data capture (CDC) yang tidak mengganggu dari database ke BigQuery. Federasi ke sumber data eksternal: BigQuery mendukung federasi ke sejumlah sumber data eksternal yang tidak memerlukan perpindahan data. |
Transformasi | Kemampuan transformasi BigQuery dibuat dengan Dataform, alat untuk membangun, menguji, dan mendokumentasikan transformasi data SQL secara kolaboratif dengan bahasa pengolahan data (DML) BigQuery. Untuk mempermudah transformasi data, kami telah membuat dua fitur canggih yang memanfaatkan Dataform: Transformasi data yang didukung AI: Persiapan data BigQuery (dalam Pratinjau) memberikan saran cerdas untuk membersihkan, mentransformasi, dan memperkaya data, yang dapat mengurangi waktu dan upaya yang diperlukan untuk tugas persiapan data. Transformasi data visual berbasis SQL: Alur kerja BigQuery (dalam Pratinjau) memberikan pengalaman visual kepada pengguna untuk membangun alur kerja sederhana secara interaktif. |
Migrasi data berskala besar | Selain pola yang dibahas di atas, migrasi ke Google Cloud mungkin melibatkan migrasi data massal dari data warehouse yang ada ke BigQuery. BigQuery Migration Service adalah layanan terkelola sepenuhnya yang memungkinkan pelanggan memuat data warehouse yang ada ke BigQuery untuk analisis data lebih lanjut. |
Menghadirkan data ke BigQuery
Jalur integrasi data BigQuery dengan ELT.
Mengekstrak dan memuat
Pemuatan batch: BigQuery Data Transfer Service (DTS) mengotomatiskan pemuatan data massal dari sumber data yang didukung ke BigQuery.
Pemuatan streaming: Langganan BigQuery Pub/Sub menulis pesan Pub/Sub ke tabel BigQuery yang ada saat pesan diterima.
Change data capture (CDC): Datastream mendukung change data capture (CDC) yang tidak mengganggu dari database ke BigQuery.
Federasi ke sumber data eksternal: BigQuery mendukung federasi ke sejumlah sumber data eksternal yang tidak memerlukan perpindahan data.
Transformasi
Kemampuan transformasi BigQuery dibuat dengan Dataform, alat untuk membangun, menguji, dan mendokumentasikan transformasi data SQL secara kolaboratif dengan bahasa pengolahan data (DML) BigQuery. Untuk mempermudah transformasi data, kami telah membuat dua fitur canggih yang memanfaatkan Dataform:
Transformasi data yang didukung AI: Persiapan data BigQuery (dalam Pratinjau) memberikan saran cerdas untuk membersihkan, mentransformasi, dan memperkaya data, yang dapat mengurangi waktu dan upaya yang diperlukan untuk tugas persiapan data.
Transformasi data visual berbasis SQL: Alur kerja BigQuery (dalam Pratinjau) memberikan pengalaman visual kepada pengguna untuk membangun alur kerja sederhana secara interaktif.
Migrasi data berskala besar
Selain pola yang dibahas di atas, migrasi ke Google Cloud mungkin melibatkan migrasi data massal dari data warehouse yang ada ke BigQuery. BigQuery Migration Service adalah layanan terkelola sepenuhnya yang memungkinkan pelanggan memuat data warehouse yang ada ke BigQuery untuk analisis data lebih lanjut.
Cara Kerjanya
BigQuery menawarkan portofolio produk dan kemampuan yang beragam kepada data engineer dan developer aplikasi untuk membantu membangun, menjadwalkan, dan mengelola pipeline. Penawaran yang beragam memberi Anda fleksibilitas untuk memilih antara paradigma ETL dan ELT.
BigQuery menawarkan portofolio produk dan kemampuan yang beragam kepada data engineer dan developer aplikasi untuk membantu membangun, menjadwalkan, dan mengelola pipeline. Penawaran yang beragam memberi Anda fleksibilitas untuk memilih antara paradigma ETL dan ELT.
Penggunaan Umum
Integrasi data menyeluruh dengan BigQuery
Arsitektur integrasi data
BigQuery adalah platform data terpadu berteknologi AI, sehingga Anda dapat menghubungkan semua data perusahaan dengan AI. BigQuery menyerap data dari berbagai sumber (pesan, database, dan lainnya) melalui batch, streaming, atau change data capture (CDC). BigQuery menyimpan, menghitung, dan mengelola data dengan lapisan transformasi berteknologi AI dan pengalaman pengguna terpadu untuk dianalisis.
Petunjuk
Arsitektur integrasi data
BigQuery adalah platform data terpadu berteknologi AI, sehingga Anda dapat menghubungkan semua data perusahaan dengan AI. BigQuery menyerap data dari berbagai sumber (pesan, database, dan lainnya) melalui batch, streaming, atau change data capture (CDC). BigQuery menyimpan, menghitung, dan mengelola data dengan lapisan transformasi berteknologi AI dan pengalaman pengguna terpadu untuk dianalisis.
Membangun pipeline ELT
Membangun pipeline ELT yang skalabel dengan Google Cloud
Membangun pipeline ELT yang andal di Google Cloud:
- Pilih sumber data: Lokal, aplikasi cloud, atau lainnya.
- Menyerap data: Gunakan Datastream untuk penyerapan real-time atau BigQuery Data Transfer Service untuk pemuatan penuh.
- Mentransformasi data: Membersihkan data dengan persiapan data, atau membangun pipeline dengan Dataform.
- Visualisasi dengan Looker Studio: Membuat laporan dan dasbor.
Konfigurasi ini memberikan skalabilitas, kemampuan real-time, dan transformasi data yang efisien untuk analisis yang komprehensif.
Petunjuk
Membangun pipeline ELT yang skalabel dengan Google Cloud
Membangun pipeline ELT yang andal di Google Cloud:
- Pilih sumber data: Lokal, aplikasi cloud, atau lainnya.
- Menyerap data: Gunakan Datastream untuk penyerapan real-time atau BigQuery Data Transfer Service untuk pemuatan penuh.
- Mentransformasi data: Membersihkan data dengan persiapan data, atau membangun pipeline dengan Dataform.
- Visualisasi dengan Looker Studio: Membuat laporan dan dasbor.
Konfigurasi ini memberikan skalabilitas, kemampuan real-time, dan transformasi data yang efisien untuk analisis yang komprehensif.