Dokumen ini menguraikan model GPU NVIDIA yang tersedia di Compute Engine, yang dapat Anda gunakan untuk mempercepat machine learning (ML), pemrosesan data, dan workload intensif grafis di instance virtual machine (VM) Anda. Dokumen ini juga menjelaskan GPU mana yang sudah terpasang ke seri mesin yang dioptimalkan untuk akselerator seperti A4X, A4, A3, A2, dan G2, serta GPU mana yang dapat Anda pasang ke instance tujuan umum N1.
Gunakan dokumen ini untuk membandingkan performa, memori, dan fitur berbagai model GPU. Untuk ringkasan yang lebih mendetail tentang kelompok mesin yang dioptimalkan akselerator, termasuk informasi tentang platform CPU, opsi penyimpanan, dan kemampuan jaringan, serta untuk menemukan jenis mesin tertentu yang cocok dengan beban kerja Anda, lihat Kelompok mesin yang dioptimalkan akselerator.
Untuk mengetahui informasi selengkapnya tentang GPU di Compute Engine, lihat Tentang GPU.
Untuk melihat region dan zona yang tersedia untuk GPU di Compute Engine, lihat Ketersediaan zona dan region GPU.
Model GPU yang tersedia
Model GPU berikut tersedia dengan jenis mesin yang ditentukan untuk mendukung workload AI, ML, dan HPC Anda. Jika memiliki workload grafis yang intensif, seperti visualisasi 3D, Anda juga dapat membuat workstation virtual yang menggunakan NVIDIA RTX Virtual Workstations (vWS). NVIDIA RTX Virtual Workstation tersedia untuk beberapa model GPU. Saat Anda membuat instance yang menggunakan NVIDIA RTX Virtual Workstation, Compute Engine akan otomatis menambahkan lisensi vWS. Untuk mengetahui informasi tentang harga workstation virtual, lihat halaman harga GPU.
Untuk jenis mesin yang dioptimalkan akselerator seri A dan G, model GPU yang ditentukan akan otomatis terpasang ke instance. Untuk jenis mesin tujuan umum N1, Anda dapat melampirkan model GPU yang ditentukan.
| Jenis mesin | Model GPU | Model NVIDIA RTX Virtual Workstation (vWS) |
|---|---|---|
| A4X | NVIDIA GB200 Grace Blackwell Superchips (nvidia-gb200).
Setiap Superchip berisi empat GPU NVIDIA B200 Blackwell. |
|
| A4 | GPU NVIDIA B200 Blackwell (nvidia-b200) |
|
| A3 Ultra | GPU NVIDIA H200 SXM (nvidia-h200-141gb) |
|
| A3 Mega |
GPU NVIDIA H100 SXM (nvidia-h100-mega-80gb) |
|
| A3 High dan A3 Edge |
GPU NVIDIA H100 SXM (nvidia-h100-80gb) |
|
| A2 Ultra | GPU NVIDIA A100 80 GB (nvidia-a100-80gb) |
|
| Standar A2 | GPU NVIDIA A100 40 GB (nvidia-a100-40gb) |
|
| G2 | NVIDIA L4 (nvidia-l4) |
NVIDIA L4 Virtual Workstation (vWS) (nvidia-l4-vws) |
| N1 | GPU NVIDIA T4 (nvidia-tesla-t4) |
NVIDIA T4 Virtual Workstation (vWS) (nvidia-tesla-t4-vws) |
GPU NVIDIA P4 (nvidia-tesla-p4) |
Workstation Virtual (vWS) NVIDIA P4 (nvidia-tesla-p4-vws) |
|
GPU NVIDIA V100 (nvidia-tesla-v100) |
||
GPU NVIDIA P100 (nvidia-tesla-p100) |
NVIDIA P100 Virtual Workstation (vWS) (nvidia-tesla-p100-vws) |
Anda juga dapat menggunakan beberapa jenis mesin GPU di AI Hypercomputer. AI Hypercomputer adalah sistem superkomputer yang dioptimalkan untuk mendukung workload kecerdasan buatan (AI) dan machine learning (ML) Anda. Opsi ini direkomendasikan untuk membuat infrastruktur yang dialokasikan secara padat dan dioptimalkan untuk performa yang memiliki integrasi untuk penjadwal Google Kubernetes Engine (GKE) dan Slurm.
Seri mesin A4X
Jenis mesin yang dioptimalkan akselerator A4X
menggunakan Superchip Grace Blackwell GB200 NVIDIA (nvidia-gb200) dan
ideal untuk pelatihan dan penayangan model dasar.
A4X adalah platform eksaskala yang didasarkan pada NVIDIA GB200 NVL72. Setiap mesin memiliki dua soket dengan CPU NVIDIA Grace dengan core Arm Neoverse V2. CPU ini terhubung ke empat GPU NVIDIA B200 Blackwell dengan komunikasi chip-ke-chip (NVLink-C2C) yang cepat.
| Chip Super NVIDIA GB200 Grace Blackwell terpasang | |||||||
|---|---|---|---|---|---|---|---|
| Jenis mesin | Jumlah vCPU* | Memori instance (GB) | SSD Lokal yang Terpasang (GiB) | Jumlah NIC fisik | Bandwidth jaringan maksimum (Gbps)† | Jumlah GPU | Memori GPU‡ (GB HBM3e) |
a4x-highgpu-4g |
140 | 884 | 12.000 | 6 | 2.000 | 4 | 720 |
* vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
†Bandwidth keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth
traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya.
Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
‡Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk
penyimpanan data sementara. Memori ini terpisah dari memori instance dan
dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari
workload yang intensif secara grafis.
Seri mesin A4
Jenis mesin yang dioptimalkan untuk akselerator A4
memiliki
GPU NVIDIA B200 Blackwell
(nvidia-b200) yang terpasang dan ideal untuk pelatihan dan penayangan model dasar.
| GPU NVIDIA Blackwell yang terpasang | |||||||
|---|---|---|---|---|---|---|---|
| Jenis mesin | Jumlah vCPU* | Memori instance (GB) | SSD Lokal yang Terpasang (GiB) | Jumlah NIC fisik | Bandwidth jaringan maksimum (Gbps)† | Jumlah GPU | Memori GPU‡ (GB HBM3e) |
a4-highgpu-8g |
224 | 3.968 | 12.000 | 10 | 3.600 | 8 | 1.440 |
* vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
†Bandwidth keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth
traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya.
Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat
Bandwidth jaringan.
‡Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk
penyimpanan data sementara. Memori ini terpisah dari memori instance dan
dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari
workload yang intensif secara grafis.
Seri mesin A3
Jenis mesin yang dioptimalkan akselerator A3 memiliki GPU NVIDIA H100 SXM atau NVIDIA H200 SXM yang terpasang.
Jenis mesin A3 Ultra
Jenis mesin A3 Ultra
memiliki GPU SXM NVIDIA H200
(nvidia-h200-141gb) yang terpasang dan memberikan performa jaringan tertinggi dalam seri A3. Jenis mesin A3 Ultra ideal untuk pelatihan dan penayangan model dasar.
| GPU NVIDIA H200 terpasang | |||||||
|---|---|---|---|---|---|---|---|
| Jenis mesin | Jumlah vCPU* | Memori instance (GB) | SSD Lokal yang Terpasang (GiB) | Jumlah NIC fisik | Bandwidth jaringan maksimum (Gbps)† | Jumlah GPU | Memori GPU‡ (GB HBM3e) |
a3-ultragpu-8g |
224 | 2.952 | 12.000 | 10 | 3.600 | 8 | 1128 |
* vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
†Bandwidth keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth
traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya.
Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
‡Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk
penyimpanan data sementara. Memori ini terpisah dari memori instance dan
dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari
workload yang intensif secara grafis.
Jenis mesin A3 Mega, High, dan Edge
Untuk menggunakan GPU NVIDIA H100 SXM, Anda memiliki opsi berikut:
- A3 Mega: jenis mesin ini memiliki GPU SXM H100 (
nvidia-h100-mega-80gb) dan ideal untuk workload pelatihan dan inferensi skala besar. - A3 High: jenis mesin ini memiliki hingga GPU SXM H100 (
nvidia-h100-80gb) dan sangat cocok untuk tugas pelatihan dan penayangan. - A3 Edge: jenis mesin ini memiliki GPU SXM H100 (
nvidia-h100-80gb), dirancang khusus untuk penayangan, dan tersedia di sejumlah kecil region.
A3 Mega
| GPU NVIDIA H100 terpasang | |||||||
|---|---|---|---|---|---|---|---|
| Jenis mesin | Jumlah vCPU* | Memori instance (GB) | SSD Lokal yang Terpasang (GiB) | Jumlah NIC fisik | Bandwidth jaringan maksimum (Gbps)† | Jumlah GPU | Memori GPU‡ (GB HBM3) |
a3-megagpu-8g |
208 | 1.872 | 6.000 | 9 | 1.800 | 8 | 640 |
A3 Tinggi
| GPU NVIDIA H100 terpasang | |||||||
|---|---|---|---|---|---|---|---|
| Jenis mesin | Jumlah vCPU* | Memori instance (GB) | SSD Lokal yang Terpasang (GiB) | Jumlah NIC fisik | Bandwidth jaringan maksimum (Gbps)† | Jumlah GPU | Memori GPU‡ (GB HBM3) |
a3-highgpu-1g |
26 | 234 | 750 | 1 | 25 | 1 | 80 |
a3-highgpu-2g |
52 | 468 | 1.500 | 1 | 50 | 2 | 160 |
a3-highgpu-4g |
104 | 936 | 3.000 | 1 | 100 | 4 | 320 |
a3-highgpu-8g |
208 | 1.872 | 6.000 | 5 | 1.000 | 8 | 640 |
A3 Edge
| GPU NVIDIA H100 terpasang | |||||||
|---|---|---|---|---|---|---|---|
| Jenis mesin | Jumlah vCPU* | Memori instance (GB) | SSD Lokal yang Terpasang (GiB) | Jumlah NIC fisik | Bandwidth jaringan maksimum (Gbps)† | Jumlah GPU | Memori GPU‡ (GB HBM3) |
a3-edgegpu-8g |
208 | 1.872 | 6.000 | 5 |
|
8 | 640 |
* vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
†Bandwidth keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth
traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya.
Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
‡Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk
penyimpanan data sementara. Memori ini terpisah dari memori instance dan
dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari
workload yang intensif secara grafis.
Seri mesin A2
Jenis mesin yang dioptimalkan akselerator A2 memiliki GPU NVIDIA A100 yang terpasang dan ideal untuk penyesuaian model, model besar, dan inferensi yang dioptimalkan biayanya.
Seri mesin A2 tersedia dalam dua jenis:
- A2 Ultra: jenis mesin ini memiliki GPU A100 80 GB
(
nvidia-a100-80gb) dan disk SSD Lokal yang terpasang. - A2 Standard: jenis mesin ini memiliki GPU A100 40 GB
(
nvidia-tesla-a100) yang terpasang. Anda juga dapat menambahkan disk SSD Lokal saat membuat instance Standar A2. Untuk mengetahui jumlah disk yang dapat Anda pasang, lihat Jenis mesin yang mengharuskan Anda memilih jumlah disk SSD Lokal.
A2 Ultra
| GPU NVIDIA A100 80 GB yang terpasang | ||||||
|---|---|---|---|---|---|---|
| Jenis mesin | Jumlah vCPU* | Memori instance (GB) | SSD Lokal yang Terpasang (GiB) | Bandwidth jaringan maksimum (Gbps)† | Jumlah GPU | Memori GPU‡ (GB HBM3) |
a2-ultragpu-1g |
12 | 170 | 375 | 24 | 1 | 80 |
a2-ultragpu-2g |
24 | 340 | 750 | 32 | 2 | 160 |
a2-ultragpu-4g |
48 | 680 | 1.500 | 50 | 4 | 320 |
a2-ultragpu-8g |
96 | 1.360 | 3.000 | 100 | 8 | 640 |
A2 Standard
| GPU NVIDIA A100 40 GB terpasang | ||||||
|---|---|---|---|---|---|---|
| Jenis mesin | Jumlah vCPU* | Memori instance (GB) | SSD lokal didukung | Bandwidth jaringan maksimum (Gbps)† | Jumlah GPU | Memori GPU‡ (GB HBM3) |
a2-highgpu-1g |
12 | 85 | Ya | 24 | 1 | 40 |
a2-highgpu-2g |
24 | 170 | Ya | 32 | 2 | 80 |
a2-highgpu-4g |
48 | 340 | Ya | 50 | 4 | 160 |
a2-highgpu-8g |
96 | 680 | Ya | 100 | 8 | 320 |
a2-megagpu-16g |
96 | 1.360 | Ya | 100 | 16 | 640 |
* vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
†Bandwidth keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth
traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya.
Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
‡Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk
penyimpanan data sementara. Memori ini terpisah dari memori instance dan
dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari
workload yang intensif secara grafis.
Seri mesin G2
Jenis mesin yang dioptimalkan akselerator G2 dilengkapi dengan GPU NVIDIA L4 dan ideal untuk inferensi yang dioptimalkan biaya, beban kerja komputasi berperforma tinggi dan yang membutuhkan grafis intensif.
Setiap jenis mesin G2 juga memiliki memori default dan rentang memori kustom. Rentang memori kustom menentukan jumlah memori yang dapat Anda alokasikan ke instance untuk setiap jenis mesin. Anda juga dapat menambahkan disk SSD Lokal saat membuat instance G2. Untuk mengetahui jumlah disk yang dapat Anda pasang, lihat Jenis mesin yang mengharuskan Anda memilih jumlah disk SSD Lokal.
| GPU NVIDIA L4 terpasang | |||||||
|---|---|---|---|---|---|---|---|
| Jenis mesin | Jumlah vCPU* | Memori instance default (GB) | Rentang memori instance kustom (GB) | SSD Lokal maksimum yang didukung (GiB) | Bandwidth jaringan maksimum (Gbps)† | Jumlah GPU | Memori GPU‡ (GB GDDR6) |
g2-standard-4 |
4 | 16 | 16 hingga 32 | 375 | 10 | 1 | 24 |
g2-standard-8 |
8 | 32 | 32 hingga 54 | 375 | 16 | 1 | 24 |
g2-standard-12 |
12 | 48 | 48 hingga 54 | 375 | 16 | 1 | 24 |
g2-standard-16 |
16 | 64 | 54 hingga 64 | 375 | 32 | 1 | 24 |
g2-standard-24 |
24 | 96 | 96 hingga 108 | 750 | 32 | 2 | 48 |
g2-standard-32 |
32 | 128 | 96 hingga 128 | 375 | 32 | 1 | 24 |
g2-standard-48 |
48 | 192 | 192 hingga 216 | 1.500 | 50 | 4 | 96 |
g2-standard-96 |
96 | 384 | 384 hingga 432 | 3.000 | 100 | 8 | 192 |
* vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
†Bandwidth keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth
traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya.
Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
‡Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk
penyimpanan data sementara. Memori ini terpisah dari memori instance dan
dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari
workload yang intensif secara grafis.
Seri mesin N1
Anda dapat memasang model GPU berikut ke jenis mesin N1 kecuali jenis mesin dengan inti bersama N1.
Tidak seperti jenis mesin dalam seri mesin yang dioptimalkan akselerator, jenis mesin N1 tidak dilengkapi dengan sejumlah GPU terpasang yang ditetapkan. Sebagai gantinya, Anda menentukan jumlah GPU yang akan dipasang saat membuat instance.
Instance N1 dengan GPU yang lebih sedikit membatasi jumlah maksimum vCPU. Secara umum, dengan jumlah GPU yang lebih tinggi, Anda dapat membuat instance dengan jumlah vCPU dan memori yang lebih tinggi.
GPU N1+T4
Anda dapat memasang GPU NVIDIA T4 ke instance tujuan umum N1 dengan konfigurasi instance berikut.
| Jenis akselerator | Jumlah GPU | Memori GPU* (GB GDDR6) | Jumlah vCPU | Memori instance (GB) | SSD lokal didukung |
|---|---|---|---|---|---|
nvidia-tesla-t4 atau nvidia-tesla-t4-vws
|
1 | 16 | 1 hingga 48 | 1 hingga 312 | Ya |
| 2 | 32 | 1 hingga 48 | 1 hingga 312 | Ya | |
| 4 | 64 | 1 hingga 96 | 1 hingga 624 | Ya |
Memori GPU *adalah memori yang tersedia di perangkat GPU yang dapat Anda gunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang intensif secara grafis.
GPU N1+P4
Anda dapat memasang GPU NVIDIA P4 ke instance tujuan umum N1 dengan konfigurasi instance berikut.
| Jenis akselerator | Jumlah GPU | Memori GPU* (GB GDDR5) | Jumlah vCPU | Memori instance (GB) | SSD lokal didukung† |
|---|---|---|---|---|---|
nvidia-tesla-p4 atau nvidia-tesla-p4-vws
|
1 | 8 | 1 hingga 24 | 1 hingga 156 | Ya |
| 2 | 16 | 1 hingga 48 | 1 hingga 312 | Ya | |
| 4 | 32 | 1 hingga 96 | 1 hingga 624 | Ya |
*Memori GPU adalah memori yang tersedia di perangkat GPU yang dapat Anda gunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang intensif secara grafis.
†Untuk instance dengan GPU NVIDIA P4 yang terpasang, disk SSD Lokal
hanya didukung di zona us-central1-c dan
northamerica-northeast1-b.
GPU N1+V100
Anda dapat memasang GPU NVIDIA V100 ke instance tujuan umum N1 dengan konfigurasi instance berikut.
| Jenis akselerator | Jumlah GPU | Memori GPU* (GB HBM2) | Jumlah vCPU | Memori instance (GB) | SSD lokal didukung† |
|---|---|---|---|---|---|
nvidia-tesla-v100 |
1 | 16 | 1 hingga 12 | 1 hingga 78 | Ya |
| 2 | 32 | 1 hingga 24 | 1 hingga 156 | Ya | |
| 4 | 64 | 1 hingga 48 | 1 hingga 312 | Ya | |
| 8 | 128 | 1 hingga 96 | 1 hingga 624 | Ya |
Memori GPU *adalah memori yang tersedia di perangkat GPU yang dapat Anda gunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan
dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari
workload yang intensif secara grafis.
†Untuk instance dengan GPU NVIDIA V100 terpasang, disk SSD Lokal tidak didukung di us-east1-c.
GPU N1+P100
Anda dapat melampirkan GPU NVIDIA P100 ke instance tujuan umum N1 dengan konfigurasi instance berikut.
Untuk beberapa GPU NVIDIA P100, CPU dan memori maksimum yang tersedia untuk beberapa konfigurasi bergantung pada zona tempat resource GPU berjalan.
| Jenis akselerator | Jumlah GPU | Memori GPU* (GB HBM2) | Zona | Jumlah vCPU | Memori instance (GB) | SSD lokal didukung |
|---|---|---|---|---|---|---|
nvidia-tesla-p100 atau nvidia-tesla-p100-vws
|
1 | 16 | Semua zona P100 | 1 hingga 16 | 1 hingga 104 | Ya |
| 2 | 32 | Semua zona P100 | 1 hingga 32 | 1 hingga 208 | Ya | |
| 4 | 64 | us-east1-c, europe-west1-d, europe-west1-b |
1 hingga 64 | 1 hingga 208 | Ya | |
| Semua zona P100 lainnya | 1 hingga 96 | 1 hingga 624 | Ya |
Memori GPU *adalah memori yang tersedia di perangkat GPU yang dapat Anda gunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang intensif secara grafis.
Diagram perbandingan umum
Tabel berikut menjelaskan ukuran memori GPU, ketersediaan fitur, dan jenis beban kerja ideal dari berbagai model GPU yang tersedia di Compute Engine.
| Model GPU | Memori GPU | Interkoneksi | Dukungan NVIDIA RTX Virtual Workstation (vWS) | Paling baik digunakan untuk |
|---|---|---|---|---|
| GB200 | HBM3e 180 GB @ 8 TBps | NVLink Mesh Penuh @ 1.800 GBps | Pelatihan dan inferensi LLM, Sistem Rekomendasi, HPC terdistribusi skala besar | |
| B200 | HBM3e 180 GB @ 8 TBps | NVLink Mesh Penuh @ 1.800 GBps | Pelatihan dan inferensi LLM, Sistem Rekomendasi, HPC terdistribusi skala besar | |
| H200 | HBM3e 141 GB @ 4,8 TBps | NVLink Mesh Penuh @ 900 GBps | Model besar dengan tabel data besar untuk Pelatihan ML, Inferensi, HPC, BERT, DLRM | |
| H100 | HBM3 80 GB @ 3,35 TBps | NVLink Mesh Penuh @ 900 GBps | Model besar dengan tabel data besar untuk Pelatihan ML, Inferensi, HPC, BERT, DLRM | |
| A100 80GB | HBM2e 80 GB @ 1,9 TBps | NVLink Mesh Penuh @ 600 GBps | Model besar dengan tabel data besar untuk Pelatihan ML, Inferensi, HPC, BERT, DLRM | |
| A100 40GB | HBM2 40 GB @ 1,6 TBps | NVLink Mesh Penuh @ 600 GBps | Pelatihan ML, Inferensi, HPC | |
| L4 | 24 GB GDDR6 @ 300 GBps | T/A | Inferensi ML, Pelatihan, Workstation Visualisasi Jarak Jauh, Transcoding Video, HPC | |
| T4 | 16 GB GDDR6 @ 320 GB/s | T/A | Inferensi ML, Pelatihan, Workstation Visualisasi Jarak Jauh, Transcoding Video | |
| V100 | 16 GB HBM2 @ 900 GBps | NVLink Ring @ 300 GBps | Pelatihan ML, Inferensi, HPC | |
| P4 | 8 GB GDDR5 @ 192 GBps | T/A | Workstation Visualisasi Jarak Jauh, Inferensi ML, dan Transcoding Video | |
| P100 | 16 GB HBM2 @ 732 GBps | T/A | Pelatihan ML, Inferensi, HPC, Workstation Visualisasi Jarak Jauh |
Guna membandingkan harga GPU untuk berbagai model dan region GPU yang tersedia di Compute Engine, lihat harga GPU.
Diagram perbandingan performa
Tabel berikut menjelaskan spesifikasi performa berbagai model GPU yang tersedia di Compute Engine.
Performa compute
| Model GPU | FP64 | FP32 | FP16 | INT8 |
|---|---|---|---|---|
| GB200 | 90 TFLOP | 180 TFLOP | ||
| B200 | 40 TFLOP | 80 TFLOPS | ||
| H200 | 34 TFLOP | 67 TFLOP | ||
| H100 | 34 TFLOP | 67 TFLOP | ||
| A100 80GB | 9,7 TFLOP | 19,5 TFLOP | ||
| A100 40GB | 9,7 TFLOP | 19,5 TFLOP | ||
| L4 | 0,5 TFLOP* | 30,3 TFLOP | ||
| T4 | 0,25 TFLOP* | 8,1 TFLOP | ||
| V100 | 7,8 TFLOP | 15,7 TFLOP | ||
| P4 | 0,2 TFLOP* | 5,5 TFLOP | 22 TOPS† | |
| P100 | 4,7 TFLOP | 9,3 TFLOP | 18,7 TFLOP |
*Agar kode FP64 dapat berfungsi dengan benar, arsitektur GPU T4, L4, dan P4 menyertakan sejumlah kecil unit hardware FP64.
†TeraOperations per Detik.
Performa Tensor core
| Model GPU | FP64 | TF32 | FP16/FP32 presisi campuran | INT8 | INT4 | FP8 |
|---|---|---|---|---|---|---|
| GB200 | 90 TFLOP | 2.500 TFLOPS† | 5.000 TFLOP*, † | 10.000 TFLOP† | 20.000 TFLOP† | 10.000 TFLOP† |
| B200 | 40 TFLOP | 1.100 TFLOPS† | 4.500 TFLOPS*, † | 9.000 TFLOPS† | 9.000 TFLOPS† | |
| H200 | 67 TFLOP | 989 TFLOP† | 1.979 TFLOP*, † | 3.958 TOPS† | 3.958 TFLOP† | |
| H100 | 67 TFLOP | 989 TFLOP† | 1.979 TFLOP*, † | 3.958 TOPS† | 3.958 TFLOP† | |
| A100 80GB | 19,5 TFLOP | 156 TFLOP | 312 TFLOP* | 624 TOPS | 1248 TOPS | |
| A100 40GB | 19,5 TFLOP | 156 TFLOP | 312 TFLOP* | 624 TOPS | 1248 TOPS | |
| L4 | 120 TFLOP† | 242 TFLOPS*, † | 485 TOPS† | 485 TFLOPS† | ||
| T4 | 65 TFLOP | 130 TOPS | 260 TOPS | |||
| V100 | 125 TFLOP | |||||
| P4 | ||||||
| P100 |
*Untuk pelatihan presisi campuran, GPU NVIDIA GB200, B200, H200, H100, A100, dan L4 juga mendukung jenis data bfloat16.
†GPU NVIDIA GB200, B200, H200, H100, dan L4
mendukung ketersebaran struktural. Anda dapat menggunakan ketersebaran struktural untuk menggandakan performa model Anda. Nilai yang didokumentasikan berlaku saat menggunakan kejarangan terstruktur.
Jika Anda tidak menggunakan kejarangan terstruktur, nilai akan dibagi dua.
Apa langkah selanjutnya?
- Pelajari lebih lanjut GPU Compute Engine.
- Periksa ketersediaan region dan zona GPU.
- Tinjau Bandwidth jaringan dan GPU.
- Lihat detail harga GPU.