Apa itu inferensi AI?

Meskipun siklus proses AI yang lengkap mencakup segala hal mulai dari pengumpulan data hingga pemantauan jangka panjang, perjalanan utama model dari pembuatan hingga eksekusi memiliki tiga tahap penting. Dua yang pertama adalah tentang pembelajaran, sedangkan yang terakhir adalah tentang menerapkan pembelajaran tersebut.

• Pelatihan AI adalah fase pembelajaran dasar. Proses ini membutuhkan banyak komputasi, di mana model menganalisis set data besar untuk mempelajari pola dan hubungan. Tujuannya adalah untuk membuat model yang akurat dan berpengetahuan. Hal ini memerlukan akselerator hardware yang canggih (seperti GPU dan TPU) dan dapat memakan waktu berjam-jam hingga berminggu-minggu.
• Fine-tuning AI adalah jalan pintas untuk pelatihan. Fine-tuning menggunakan model terlatih yang canggih dan mengadaptasinya ke tugas yang lebih spesifik menggunakan set data yang lebih kecil dan terspesialisasi. Hal ini menghemat waktu dan resource secara signifikan dibandingkan dengan melatih model dari awal.
• Inferensi AI adalah fase eksekusi. Inferensi menggunakan model yang telah dilatih dan disesuaikan untuk membuat prediksi cepat pada data baru yang "belum dilihat". Masing-masing prediksi jauh lebih ringan secara komputasi dibandingkan pelatihan, tetapi memberikan jutaan prediksi secara real-time memerlukan infrastruktur yang sangat optimal dan skalabel.
• Penyajian AI adalah proses men-deploy dan mengelola model untuk inferensi. Hal ini sering kali melibatkan pengemasan model, penyiapan endpoint API, dan pengelolaan infrastruktur untuk menangani permintaan.

Tabel ini merangkum perbedaan utama:

Pada intinya, inferensi AI melibatkan tiga langkah yang mengubah data baru menjadi output yang berguna. 

Mari kita bahas dengan contoh sederhana: model AI yang dibuat untuk mengidentifikasi objek dalam foto.

1. Persiapan data input: Pertama, data baru disediakan — misalnya, foto yang baru saja Anda kirim. Foto ini langsung disiapkan untuk model, yang mungkin berarti hanya mengubah ukurannya menjadi dimensi yang tepat seperti saat model dilatih.
2. Eksekusi model: Selanjutnya, model AI menganalisis foto yang telah disiapkan. Model ini mencari pola — seperti warna, bentuk, dan tekstur — yang cocok dengan apa yang dipelajarinya selama pelatihan. Analisis cepat ini disebut "forward pass", yaitu langkah baca-saja di mana model menerapkan pengetahuannya tanpa mempelajari hal baru.
3. Pembuatan output: Model menghasilkan hasil yang dapat ditindaklanjuti. Untuk analisis foto, hal ini mungkin berupa skor probabilitas (seperti peluang 95% bahwa gambar tersebut berisi "anjing"). Output ini kemudian dikirim ke aplikasi dan ditampilkan kepada pengguna.

Meskipun inferensi tunggal berjalan cepat, melayani jutaan pengguna secara real time akan menambah latensi, biaya, dan memerlukan hardware yang dioptimalkan. Unit Pemrosesan Grafis (GPU) khusus AI dan Unit Pemrosesan Tensor Google dirancang untuk menangani tugas-tugas ini secara efisien bersama dengan orkestrasi dengan Google Kubernetes Engine, sehingga membantu meningkatkan throughput dan menurunkan latensi.

Ini adalah pendekatan yang paling umum, di mana inferensi berjalan di server jarak jauh yang canggih di pusat data. Cloud menawarkan skalabilitas dan resource komputasi yang sangat besar, sehingga cocok untuk menangani set data besar dan model yang kompleks. Di dalam cloud, biasanya ada dua mode inferensi utama:

• Inferensi real-time (online): Memproses permintaan individual secara instan saat permintaan tersebut dibuat, sering kali dalam hitungan milidetik. Hal ini penting untuk aplikasi interaktif yang memerlukan respons cepat.
• Inferensi batch (offline): Menangani volume data yang besar sekaligus, biasanya saat respons langsung tidak diperlukan. Metode ini sangat hemat biaya untuk analisis berkala atau tugas terjadwal.

Pendekatan ini melakukan inferensi langsung di perangkat tempat data dihasilkan — bisa di smartphone atau sensor industri. Dengan menghindari perjalanan pulang pergi ke cloud, inferensi edge menawarkan keuntungan unik:

• Latensi yang lebih rendah: Respons hampir instan, yang sangat penting untuk aplikasi seperti kendaraan otonom atau pemeriksaan manufaktur real-time.
• Privasi yang ditingkatkan: Data sensitif (seperti hasil pemindaian medis, foto pribadi, feed video) dapat diproses di perangkat tanpa pernah dikirim ke cloud.
• Biaya bandwidth lebih rendah: Memproses data secara lokal akan mengurangi jumlah data yang perlu diupload dan didownload secara signifikan.
• Fungsi offline: Aplikasi dapat terus berfungsi meskipun tanpa koneksi internet, sehingga memastikan operasi berkelanjutan di lingkungan terpencil atau terputus.

Untuk membantu Anda memilih pendekatan terbaik untuk kebutuhan spesifik Anda, berikut perbandingan cepat karakteristik utama dan kasus penggunaan untuk setiap jenis inferensi AI:

Inferensi AI menghadirkan serangkaian tantangan teknis yang berbeda, termasuk mengelola latensi, mengontrol biaya, dan memastikan skalabilitas. Google Cloud menyediakan jalur yang fleksibel untuk inferensi, sehingga Anda dapat memilih alat yang tepat berdasarkan kompleksitas model, kebutuhan performa, dan kapasitas operasional. Anda dapat memulai dengan solusi terkelola sepenuhnya dan secara progresif mengadopsi infrastruktur yang lebih disesuaikan seiring berkembangnya persyaratan Anda.

Pendekatan ini ideal bagi developer dengan tingkat keterampilan apa pun, termasuk yang baru mengenal AI, yang ingin mengintegrasikan kemampuan AI yang canggih dengan cepat. Hal ini memerlukan pembuatan panggilan API sederhana tanpa perlu mengelola model atau infrastruktur apa pun.

Opsi ini ditujukan bagi developer yang sudah memiliki model kustom. Anda dapat men-deploy-nya ke layanan terkelola Google Cloud, yang berarti Anda tidak perlu menangani penyiapan server atau orkestrasi yang rumit secara manual. Anda dapat berfokus pada model, bukan infrastruktur.

Memberi developer dan MLOps kontrol terperinci dan fleksibilitas untuk men-deploy, mengelola, dan menskalakan layanan inferensi kustom dalam container, sering kali dengan hardware khusus, di seluruh lingkungan cloud atau hybrid.

Jika Anda bekerja dengan SQL, kini Anda dapat memperoleh prediksi dari model AI langsung di tempat data Anda berada. Dengan demikian, Anda tidak perlu memindahkan data ke platform terpisah, sehingga menyederhanakan alur kerja Anda.