Questo documento descrive i modelli di GPU NVIDIA disponibili su Compute Engine, che puoi utilizzare per accelerare il machine learning (ML), l'elaborazione dei dati e i carichi di lavoro a uso intensivo di grafica sulle tue istanze di macchine virtuali (VM). Questo documento descrive anche quali GPU sono precollegate alle serie di macchine ottimizzate per l'acceleratore, come A4X, A4, A3, A2 e G2, e quali GPU puoi collegare alle istanze N1 per uso generico.
Utilizza questo documento per confrontare le prestazioni, la memoria e le funzionalità di diversi modelli di GPU. Per una panoramica più dettagliata della famiglia di macchine ottimizzate per l'acceleratore, incluse informazioni su piattaforme CPU, opzioni di archiviazione e funzionalità di networking, e per trovare il tipo di macchina specifico adatto al tuo workload, consulta la pagina Famiglia di macchine ottimizzate per l'acceleratore.
Per ulteriori informazioni sulle GPU su Compute Engine, consulta Informazioni sulle GPU.
Per visualizzare le regioni e le zone disponibili per le GPU su Compute Engine, consulta la sezione Disponibilità di regioni e zone GPU.
Modelli di GPU disponibili
I seguenti modelli di GPU sono disponibili con il tipo di macchina specificato per supportare i tuoi carichi di lavoro di AI, ML e HPC. Se hai workload ad alta intensità di grafica, come la visualizzazione 3D, puoi anche creare workstation virtuali che utilizzano le workstation virtuali (vWS) NVIDIA RTX. La workstation virtuale NVIDIA RTX è disponibile per alcuni modelli di GPU. Quando crei un'istanza che utilizza la workstation virtuale NVIDIA RTX, Compute Engine aggiunge automaticamente una licenza vWS. Per informazioni sui prezzi delle workstation virtuali, consulta la pagina dei prezzi delle GPU.
Per i tipi di macchine ottimizzati per l'acceleratore delle serie A e G, il modello di GPU specificato viene collegato automaticamente all'istanza. Per i tipi di macchine per uso generico N1, puoi collegare i modelli di GPU specificati.
| Tipo di macchina | Modello di GPU | Modello di workstation virtuale (vWS) NVIDIA RTX |
|---|---|---|
| A4X | Superchip NVIDIA GB200 Grace Blackwell (nvidia-gb200).
Ogni superchip contiene quattro GPU NVIDIA B200 Blackwell. |
|
| A4 | GPU NVIDIA B200 Blackwell (nvidia-b200) |
|
| A3 Ultra | GPU NVIDIA H200 SXM (nvidia-h200-141gb) |
|
| A3 Mega |
GPU NVIDIA H100 SXM (nvidia-h100-mega-80gb) |
|
| A3 High e A3 Edge |
GPU NVIDIA H100 SXM (nvidia-h100-80gb) |
|
| A2 Ultra | GPU NVIDIA A100 da 80 GB (nvidia-a100-80gb) |
|
| A2 Standard | GPU NVIDIA A100 da 40 GB (nvidia-a100-40gb) |
|
| G2 | NVIDIA L4 (nvidia-l4) |
Workstation virtuali (vWS) NVIDIA L4 (nvidia-l4-vws) |
| N1 | GPU NVIDIA T4 (nvidia-tesla-t4) |
Workstation virtuali (vWS) NVIDIA T4 (nvidia-tesla-t4-vws) |
GPU NVIDIA P4 (nvidia-tesla-p4) |
Workstation virtuali (vWS) NVIDIA P4 (nvidia-tesla-p4-vws) |
|
GPU NVIDIA V100 (nvidia-tesla-v100) |
||
GPU NVIDIA P100 (nvidia-tesla-p100) |
Workstation virtuali (vWS) NVIDIA P100 (nvidia-tesla-p100-vws) |
Puoi anche utilizzare alcuni tipi di macchine GPU su AI Hypercomputer. AI Hypercomputer è un sistema di supercomputing ottimizzato per supportare i workload di intelligenza artificiale (AI) e machine learning (ML). Questa opzione è consigliata per creare un'infrastruttura densamente allocata e ottimizzata per le prestazioni che dispone di integrazioni per Google Kubernetes Engine (GKE) e gli scheduler Slurm.
Serie di macchine A4X
I tipi di macchine A4X ottimizzate per l'acceleratore
utilizzano i superchip NVIDIA GB200 Grace Blackwell (nvidia-gb200) e
sono ideali per l'addestramento e la pubblicazione di modelli di base.
A4X è una piattaforma exascale basata su NVIDIA GB200 NVL72. Ogni macchina ha due socket con CPU NVIDIA Grace con core Arm Neoverse V2. Queste CPU sono collegate a quattro GPU NVIDIA B200 Blackwell con comunicazione chip-to-chip (NVLink-C2C) veloce.
| Superchip NVIDIA GB200 Grace Blackwell collegati | |||||||
|---|---|---|---|---|---|---|---|
| Tipo di macchina | Numero di vCPU* | Memoria istanza (GB) | SSD locale collegato (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps)† | Conteggio GPU | Memoria GPU‡ (GB HBM3e) |
a4x-highgpu-4g |
140 | 884 | 12.000 | 6 | 2000 | 4 | 720 |
* Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
† La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza
di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori.
Per ulteriori informazioni sulla larghezza di banda di rete,
consulta la sezione Larghezza di banda di rete.
‡La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per
l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è
progettata specificamente per gestire le richieste di larghezza di banda più elevate dei
workload ad alta intensità grafica.
Serie di macchine A4
I tipi di macchine A4 ottimizzate per l'acceleratore
sono dotati di
GPU NVIDIA B200 Blackwell
(nvidia-b200) collegate e sono ideali per l'addestramento e la pubblicazione di modelli di base.
| GPU NVIDIA Blackwell collegate | |||||||
|---|---|---|---|---|---|---|---|
| Tipo di macchina | Numero di vCPU* | Memoria istanza (GB) | SSD locale collegato (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps)† | Conteggio GPU | Memoria GPU‡ (GB HBM3e) |
a4-highgpu-8g |
224 | 3968 | 12.000 | 10 | 3600 | 8 | 1440 |
* Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
† La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza
di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori.
Per ulteriori informazioni sulla larghezza di banda di rete, consulta
Larghezza di banda di rete.
‡La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per
l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è
progettata specificamente per gestire le richieste di larghezza di banda più elevate dei
workload ad alta intensità grafica.
Serie di macchine A3
I tipi di macchine A3 ottimizzate per l'acceleratore sono collegati a GPU NVIDIA H100 SXM o NVIDIA H200 SXM.
Tipo di macchina A3 Ultra
I tipi di macchine A3 Ultra sono collegate a GPU NVIDIA H200 SXM (nvidia-h200-141gb) e offrono le prestazioni di rete più elevate della serie A3. I tipi di macchine A3 Ultra sono ideali per l'addestramento e la
distribuzione dei modelli di base.
| GPU NVIDIA H200 collegate | |||||||
|---|---|---|---|---|---|---|---|
| Tipo di macchina | Numero di vCPU* | Memoria istanza (GB) | SSD locale collegato (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps)† | Conteggio GPU | Memoria GPU‡ (GB HBM3e) |
a3-ultragpu-8g |
224 | 2952 | 12.000 | 10 | 3600 | 8 | 1128 |
* Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
† La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza
di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori.
Per ulteriori informazioni sulla larghezza di banda di rete,
consulta la sezione Larghezza di banda di rete.
‡La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per
l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è
progettata specificamente per gestire le richieste di larghezza di banda più elevate dei
workload ad alta intensità grafica.
Tipi di macchine A3 Mega, High ed Edge
Per utilizzare le GPU NVIDIA H100 SXM, hai le seguenti opzioni:
- A3 Mega: questi
tipi di macchine hanno GPU H100 SXM (
nvidia-h100-mega-80gb) e sono ideali per carichi di lavoro di training e serving su larga scala. - A3 High: questi tipi di macchine hanno fino a GPU H100 SXM (
nvidia-h100-80gb) e sono adatti sia per le attività di addestramento che per quelle di serving. - A3 Edge: questi tipi di macchine hanno GPU H100 SXM (
nvidia-h100-80gb), sono progettati specificamente per il servizio e sono disponibili in un insieme limitato di regioni.
A3 Mega
| GPU NVIDIA H100 collegate | |||||||
|---|---|---|---|---|---|---|---|
| Tipo di macchina | Numero di vCPU* | Memoria istanza (GB) | SSD locale collegato (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps)† | Conteggio GPU | Memoria GPU‡ (GB HBM3) |
a3-megagpu-8g |
208 | 1872 | 6000 | 9 | 1800 | 8 | 640 |
A3 High
| GPU NVIDIA H100 collegate | |||||||
|---|---|---|---|---|---|---|---|
| Tipo di macchina | Numero di vCPU* | Memoria istanza (GB) | SSD locale collegato (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps)† | Conteggio GPU | Memoria GPU‡ (GB HBM3) |
a3-highgpu-1g |
26 | 234 | 750 | 1 | 25 | 1 | 80 |
a3-highgpu-2g |
52 | 468 | 1500 | 1 | 50 | 2 | 160 |
a3-highgpu-4g |
104 | 936 | 3000 | 1 | 100 | 4 | 320 |
a3-highgpu-8g |
208 | 1872 | 6000 | 5 | 1000 | 8 | 640 |
A3 Edge
| GPU NVIDIA H100 collegate | |||||||
|---|---|---|---|---|---|---|---|
| Tipo di macchina | Numero di vCPU* | Memoria istanza (GB) | SSD locale collegato (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps)† | Conteggio GPU | Memoria GPU‡ (GB HBM3) |
a3-edgegpu-8g |
208 | 1872 | 6000 | 5 |
|
8 | 640 |
* Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
† La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza
di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori.
Per ulteriori informazioni sulla larghezza di banda di rete,
consulta la sezione Larghezza di banda di rete.
‡La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per
l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è
progettata specificamente per gestire le richieste di larghezza di banda più elevate dei
workload ad alta intensità grafica.
Serie di macchine A2
I tipi di macchine A2 ottimizzate per l'acceleratore sono collegate a GPU NVIDIA A100 e sono ideali per il perfezionamento dei modelli, l'inferenza di modelli di grandi dimensioni e l'inferenza ottimizzata per i costi.
Le serie di macchine A2 sono disponibili in due tipi:
- A2 Ultra: a questi tipi di macchine sono collegate GPU A100 da 80 GB
(
nvidia-a100-80gb) e dischi SSD locali. - A2 Standard: a questi tipi di macchine sono collegate GPU A100 da 40 GB
(
nvidia-tesla-a100). Puoi anche aggiungere dischi SSD locali quando crei un'istanza A2 Standard. Per il numero di dischi che puoi collegare, vedi Tipi di macchine per cui devi scegliere un numero di dischi SSD locali.
A2 Ultra
| GPU NVIDIA A100 da 80 GB collegate | ||||||
|---|---|---|---|---|---|---|
| Tipo di macchina | Numero di vCPU* | Memoria istanza (GB) | SSD locale collegato (GiB) | Larghezza di banda massima della rete (Gbps)† | Conteggio GPU | Memoria GPU‡ (GB HBM3) |
a2-ultragpu-1g |
12 | 170 | 375 | 24 | 1 | 80 |
a2-ultragpu-2g |
24 | 340 | 750 | 32 | 2 | 160 |
a2-ultragpu-4g |
48 | 680 | 1500 | 50 | 4 | 320 |
a2-ultragpu-8g |
96 | 1360 | 3000 | 100 | 8 | 640 |
A2 Standard
| GPU NVIDIA A100 da 40 GB collegate | ||||||
|---|---|---|---|---|---|---|
| Tipo di macchina | Numero di vCPU* | Memoria istanza (GB) | SSD locale supportato | Larghezza di banda massima della rete (Gbps)† | Conteggio GPU | Memoria GPU‡ (GB HBM3) |
a2-highgpu-1g |
12 | 85 | Sì | 24 | 1 | 40 |
a2-highgpu-2g |
24 | 170 | Sì | 32 | 2 | 80 |
a2-highgpu-4g |
48 | 340 | Sì | 50 | 4 | 160 |
a2-highgpu-8g |
96 | 680 | Sì | 100 | 8 | 320 |
a2-megagpu-16g |
96 | 1360 | Sì | 100 | 16 | 640 |
* Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
† La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza
di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori.
Per ulteriori informazioni sulla larghezza di banda di rete,
consulta la sezione Larghezza di banda di rete.
‡La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per
l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è
progettata specificamente per gestire le richieste di larghezza di banda più elevate dei
workload ad alta intensità grafica.
Serie di macchine G2
I tipi di macchina G2 ottimizzati per l'acceleratore sono dotati di GPU NVIDIA L4 collegate e sono ideali per inferenza ottimizzata per i costi, carichi di lavoro ad alta intensità di grafica e di computing ad alte prestazioni.
Ogni tipo di macchina G2 ha anche una memoria predefinita e un'intervallo di memoria personalizzato. L'intervallo di memoria personalizzato definisce la quantità di memoria che puoi allocare all'istanza per ogni tipo di macchina. Puoi anche aggiungere dischi SSD locali quando crei un'istanza G2. Per il numero di dischi che puoi collegare, vedi Tipi di macchine per cui devi scegliere un numero di dischi SSD locali.
| GPU NVIDIA L4 collegate | |||||||
|---|---|---|---|---|---|---|---|
| Tipo di macchina | Numero di vCPU* | Memoria istanza predefinita (GB) | Intervallo di memoria istanza personalizzato (GB) | SSD locale massima supportata (GiB) | Larghezza di banda massima della rete (Gbps)† | Conteggio GPU | Memoria GPU‡ (GB GDDR6) |
g2-standard-4 |
4 | 16 | da 16 a 32 | 375 | 10 | 1 | 24 |
g2-standard-8 |
8 | 32 | da 32 a 54 | 375 | 16 | 1 | 24 |
g2-standard-12 |
12 | 48 | da 48 a 54 | 375 | 16 | 1 | 24 |
g2-standard-16 |
16 | 64 | da 54 a 64 | 375 | 32 | 1 | 24 |
g2-standard-24 |
24 | 96 | da 96 a 108 | 750 | 32 | 2 | 48 |
g2-standard-32 |
32 | 128 | da 96 a 128 | 375 | 32 | 1 | 24 |
g2-standard-48 |
48 | 192 | da 192 a 216 | 1500 | 50 | 4 | 96 |
g2-standard-96 |
96 | 384 | da 384 a 432 | 3000 | 100 | 8 | 192 |
* Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
† La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza
di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori.
Per ulteriori informazioni sulla larghezza di banda di rete,
consulta la sezione Larghezza di banda di rete.
‡La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per
l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è
progettata specificamente per gestire le richieste di larghezza di banda più elevate dei
workload ad alta intensità grafica.
Serie di macchine N1
Puoi collegare i seguenti modelli di GPU a un tipo di macchina N1 ad eccezione dei tipi di macchine con core condivisi N1.
A differenza dei tipi di macchine della serie di macchine ottimizzate per l'acceleratore, i tipi di macchine N1 non sono dotati di un numero fisso di GPU collegate. Specifichi invece il numero di GPU da collegare durante la creazione dell'istanza.
Le istanze N1 con meno GPU limitano il numero massimo di vCPU. In generale, un numero maggiore di GPU ti consente di creare istanze con più memoria e un numero maggiore di vCPU.
GPU N1+T4
Puoi collegare GPU NVIDIA T4 alle istanze N1 per uso generico con le seguenti configurazioni di istanza.
| Tipo di acceleratore | Conteggio GPU | Memoria GPU* (GB GDDR6) | Conteggio vCPU | Memoria istanza (GB) | SSD locale supportato |
|---|---|---|---|---|---|
nvidia-tesla-t4 o nvidia-tesla-t4-vws
|
1 | 16 | 1-48 | Da 1 a 312 | Sì |
| 2 | 32 | 1-48 | Da 1 a 312 | Sì | |
| 4 | 64 | 1-96 | Da 1 a 624 | Sì |
* La memoria GPU è la memoria disponibile su un dispositivo GPU che puoi utilizzare per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.
GPU N1+P4
Puoi collegare GPU NVIDIA P4 a istanze N1 per uso generico con le seguenti configurazioni di istanza.
| Tipo di acceleratore | Conteggio GPU | Memoria GPU* (GB GDDR5) | Conteggio vCPU | Memoria istanza (GB) | SSD locale supportato† |
|---|---|---|---|---|---|
nvidia-tesla-p4 o nvidia-tesla-p4-vws
|
1 | 8 | Da 1 a 24 | 1-156 | Sì |
| 2 | 16 | 1-48 | Da 1 a 312 | Sì | |
| 4 | 32 | 1-96 | Da 1 a 624 | Sì |
* La memoria GPU è la memoria disponibile su un dispositivo GPU che puoi utilizzare per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.
†Per le istanze con GPU NVIDIA P4 collegate, i dischi SSD locali
sono supportati solo nelle zone us-central1-c e
northamerica-northeast1-b.
GPU N1+V100
Puoi collegare GPU NVIDIA V100 alle istanze N1 per uso generico con le seguenti configurazioni di istanza.
| Tipo di acceleratore | Conteggio GPU | Memoria GPU* (GB HBM2) | Conteggio vCPU | Memoria istanza (GB) | SSD locale supportato† |
|---|---|---|---|---|---|
nvidia-tesla-v100 |
1 | 16 | Da 1 a 12 | 1-78 | Sì |
| 2 | 32 | Da 1 a 24 | 1-156 | Sì | |
| 4 | 64 | 1-48 | Da 1 a 312 | Sì | |
| 8 | 128 | 1-96 | Da 1 a 624 | Sì |
* La memoria GPU è la memoria disponibile su un dispositivo GPU che puoi utilizzare
per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è
progettata specificamente per gestire le richieste di larghezza di banda più elevate dei
workload ad alta intensità grafica.
†Per le istanze con GPU NVIDIA V100 collegate, i dischi SSD locali non sono supportati in us-east1-c.
GPU N1+P100
Puoi collegare GPU NVIDIA P100 a istanze N1 per uso generico con le seguenti configurazioni di istanza.
Per alcune GPU NVIDIA P100, la CPU e la memoria massime disponibili per alcune configurazioni dipendono dalla zona in cui viene eseguita la risorsa GPU.
| Tipo di acceleratore | Conteggio GPU | Memoria GPU* (GB HBM2) | Zona | Conteggio vCPU | Memoria istanza (GB) | SSD locale supportato |
|---|---|---|---|---|---|---|
nvidia-tesla-p100 o nvidia-tesla-p100-vws
|
1 | 16 | Tutte le zone P100 | Da 1 a 16 | Da 1 a 104 | Sì |
| 2 | 32 | Tutte le zone P100 | Da 1 a 32 | Da 1 a 208 | Sì | |
| 4 | 64 | us-east1-c, europe-west1-d, europe-west1-b |
Da 1 a 64 | Da 1 a 208 | Sì | |
| Tutte le altre zone P100 | 1-96 | Da 1 a 624 | Sì |
* La memoria GPU è la memoria disponibile su un dispositivo GPU che puoi utilizzare per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.
Grafico di confronto generale
La tabella seguente descrive le dimensioni della memoria GPU, la disponibilità delle funzionalità e i tipi di carichi di lavoro ideali dei diversi modelli di GPU disponibili su Compute Engine.
| Modello di GPU | Memoria GPU | Interconnessione | Supporto della workstation virtuale (vWS) NVIDIA RTX | Ideale per |
|---|---|---|---|---|
| GB200 | 180 GB HBM3e a 8 TB/s | NVLink Full Mesh a 1800 GBps | Addestramento e inferenza distribuiti su larga scala di LLM, sistemi di raccomandazione e HPC | |
| B200 | 180 GB HBM3e a 8 TB/s | NVLink Full Mesh a 1800 GBps | Addestramento e inferenza distribuiti su larga scala di LLM, sistemi di raccomandazione e HPC | |
| H200 | 141 GB HBM3e a 4,8 TBps | NVLink Full Mesh a 900 GBps | Modelli di grandi dimensioni con tabelle di dati enormi per addestramento ML, inferenza, HPC, BERT, DLRM | |
| H100 | 80 GB HBM3 a 3,35 TBps | NVLink Full Mesh a 900 GBps | Modelli di grandi dimensioni con tabelle di dati enormi per addestramento ML, inferenza, HPC, BERT, DLRM | |
| A100 80 GB | HBM2e da 80 GB a 1,9 TBps | NVLink Full Mesh a 600 GB/s | Modelli di grandi dimensioni con tabelle di dati enormi per addestramento ML, inferenza, HPC, BERT, DLRM | |
| A100 40 GB | HBM2 da 40 GB a 1,6 TBps | NVLink Full Mesh a 600 GB/s | Addestramento ML, inferenza, HPC | |
| L4 | GDDR6 da 24 GB a 300 GB/s | N/D | Inferenza ML, addestramento, workstation di visualizzazione remota, transcodifica video, HPC | |
| T4 | GDDR6 da 16 GB a 320 GB/s | N/D | Inferenza ML, addestramento, workstation di visualizzazione remota, transcodifica video | |
| V100 | HBM2 da 16 GB a 900 GBps | NVLink Ring a 300 GB/s | Addestramento ML, inferenza, HPC | |
| P4 | GDDR5 da 8 GB a 192 GB/s | N/D | Workstation di visualizzazione remota, inferenza ML e transcodifica video | |
| P100 | 16 GB HBM2 a 732 GBps | N/D | Addestramento ML, inferenza, HPC, workstation di visualizzazione remota |
Per confrontare i prezzi delle GPU per i diversi modelli e le diverse regioni disponibili su Compute Engine, consulta Prezzi delle GPU.
Grafico di confronto del rendimento
La tabella seguente descrive le specifiche di rendimento dei diversi modelli di GPU disponibili su Compute Engine.
Rendimento del calcolo
| Modello di GPU | FP64 | FP32 | FP16 | INT8 |
|---|---|---|---|---|
| GB200 | 90 TFLOPS | 180 TFLOPS | ||
| B200 | 40 TFLOPS | 80 TFLOPS | ||
| H200 | 34 TFLOPS | 67 TFLOPS | ||
| H100 | 34 TFLOPS | 67 TFLOPS | ||
| A100 80 GB | 9,7 TFLOPS | 19,5 TFLOPS | ||
| A100 40 GB | 9,7 TFLOPS | 19,5 TFLOPS | ||
| L4 | 0,5 TFLOPS* | 30,3 TFLOPS | ||
| T4 | 0,25 TFLOPS* | 8,1 TFLOPS | ||
| V100 | 7,8 TFLOPS | 15,7 TFLOPS | ||
| P4 | 0,2 TFLOPS* | 5,5 TFLOPS | 22 TOPS† | |
| P100 | 4,7 TFLOPS | 9,3 TFLOPS | 18,7 TFLOPS |
*Per consentire al codice FP64 di funzionare correttamente, l'architettura GPU T4, L4 e P4 include un numero ridotto di unità hardware FP64.
†TeraOperations al secondo.
Prestazioni del Tensor Core
| Modello di GPU | FP64 | TF32 | FP16/FP32 a precisione mista | INT8 | INT4 | FP8 |
|---|---|---|---|---|---|---|
| GB200 | 90 TFLOPS | 2500 TFLOPS† | 5000 TFLOPS*, † | 10.000 TFLOPS† | 20.000 TFLOPS† | 10.000 TFLOPS† |
| B200 | 40 TFLOPS | 1100 TFLOPS† | 4500 TFLOPS*, † | 9000 TFLOPS† | 9000 TFLOPS† | |
| H200 | 67 TFLOPS | 989 TFLOPS† | 1979 TFLOPS*, † | 3958 TOPS† | 3958 TFLOPS† | |
| H100 | 67 TFLOPS | 989 TFLOPS† | 1979 TFLOPS*, † | 3958 TOPS† | 3958 TFLOPS† | |
| A100 80 GB | 19,5 TFLOPS | 156 TFLOPS | 312 TFLOPS* | 624 TOPS | 1248 TOPS | |
| A100 40 GB | 19,5 TFLOPS | 156 TFLOPS | 312 TFLOPS* | 624 TOPS | 1248 TOPS | |
| L4 | 120 TFLOPS† | 242 TFLOPS*, † | 485 TOPS† | 485 TFLOPS† | ||
| T4 | 65 TFLOPS | 130 TOPS | 260 TOPS | |||
| V100 | 125 TFLOPS | |||||
| P4 | ||||||
| P100 |
*Per l'addestramento a precisione mista, le GPU NVIDIA GB200, B200, H200, H100, A100 e L4 supportano anche il tipo di dati bfloat16.
†Le GPU NVIDIA GB200, B200, H200, H100 e L4
supportano la sparsità strutturale. Puoi utilizzare la sparsità strutturale per raddoppiare le prestazioni
dei tuoi modelli. I valori documentati si applicano quando si utilizza la sparsità strutturata.
Se non utilizzi la sparsità strutturata, i valori vengono dimezzati.
Passaggi successivi
- Scopri di più sulle GPU di Compute Engine.
- Controlla la disponibilità di regioni e zone GPU.
- Esamina Larghezze di banda di rete e GPU.
- Visualizza i dettagli dei prezzi delle GPU.