Che cos'è l'inferenza AI?

Sebbene il ciclo di vita completo dell'AI comprenda tutto, dalla raccolta dei dati al monitoraggio a lungo termine, il percorso centrale di un modello, dalla creazione all'esecuzione, prevede tre fasi chiave. I primi due riguardano l'apprendimento, mentre l'ultimo riguarda l'applicazione di ciò che si è appreso.

• L'addestramento dell'AI è la fase di apprendimento fondamentale. È un processo ad alta intensità di calcolo in cui un modello analizza un set di dati di grandi dimensioni per apprendere pattern e relazioni. L'obiettivo è creare un modello accurato e informato. Ciò richiede potenti acceleratori hardware (come GPU e TPU) e può richiedere da ore a settimane.
• L'ottimizzazione dell'AI è una scorciatoia per l'addestramento. Prende un modello preaddestrato potente e lo adatta a un'attività più specifica utilizzando un set di dati più piccolo e specializzato. Ciò consente di risparmiare tempo e risorse significativi rispetto all'addestramento di un modello da zero.
• L'inferenza AI è la fase di esecuzione. Utilizza il modello addestrato e ottimizzato per fare previsioni rapide su dati nuovi e "mai visti". Ogni singola previsione richiede molte meno risorse di calcolo rispetto all'addestramento, ma la fornitura di milioni di previsioni in tempo reale richiede un'infrastruttura altamente ottimizzata e scalabile.
• La distribuzione dell'AI è il processo di deployment e gestione del modello per l'inferenza. Ciò spesso comporta il packaging del modello, la configurazione di un endpoint API e la gestione dell'infrastruttura per gestire le richieste.

Questa tabella riassume le principali differenze:

L'inferenza AI si basa su 3 passaggi che trasformano i nuovi dati in un output utile. 

Vediamo un semplice esempio: un modello di AI creato per identificare gli oggetti nelle foto.

1. Preparazione dei dati di input: innanzitutto, vengono forniti nuovi dati, ad esempio una foto che hai appena inviato. La foto viene preparata immediatamente per il modello, il che potrebbe significare semplicemente ridimensionarla alle dimensioni esatte su cui è stato addestrato.
2. Esecuzione del modello: il modello di AI analizza la foto preparata. Cerca pattern, come colori, forme e texture, che corrispondono a ciò che ha appreso durante l'addestramento. Questa rapida analisi è chiamata "forward pass", un passaggio di sola lettura in cui il modello applica le sue conoscenze senza apprendere nulla di nuovo.
3. Generazione dell'output: il modello produce un risultato fruibile. Per l'analisi delle foto, potrebbe trattarsi di un punteggio di probabilità (ad esempio, una probabilità del 95% che l'immagine contenga un "cane"). Questo output viene quindi inviato all'applicazione e mostrato all'utente.

Sebbene una singola inferenza sia rapida, servire milioni di utenti in tempo reale aumenta la latenza, i costi e richiede hardware ottimizzato. Le unità di elaborazione grafica (GPU) specializzate per l'AI e le Tensor Processing Unit di Google sono progettate per gestire queste attività in modo efficiente insieme all'orchestrazione con Google Kubernetes Engine, contribuendo ad aumentare il throughput e a ridurre la latenza.

È l'approccio più comune, in cui l'inferenza viene eseguita su potenti server remoti in un data center. Il cloud offre un'immensa scalabilità e risorse di calcolo, il che lo rende ideale per la gestione di set di dati enormi e modelli complessi. All'interno del cloud, in genere esistono 2 modalità principali di inferenza:

• Inferenza in tempo reale (online): elabora le singole richieste istantaneamente quando arrivano, spesso in pochi millisecondi. Questo è fondamentale per le applicazioni interattive che richiedono un feedback immediato.
• Inferenza batch (offline): gestisce grandi volumi di dati tutti in una volta, in genere quando non sono richieste risposte immediate. È un metodo molto conveniente per analisi periodiche o attività pianificate.

Questo approccio esegue l'inferenza direttamente sul dispositivo in cui vengono generati i dati, che potrebbe essere uno smartphone o un sensore industriale. Evitando un round trip al cloud, l'inferenza Edge offre vantaggi unici come quelli che seguono.

• Latenza ridotta: le risposte sono quasi istantanee, il che è fondamentale per applicazioni come i veicoli autonomi o i controlli di produzione in tempo reale.
• Privacy migliorata: i dati sensibili (come scansioni mediche, foto personali, feed video) possono essere elaborati sul dispositivo senza mai essere inviati al cloud.
• Costi di larghezza di banda inferiori: l'elaborazione dei dati a livello locale riduce in modo significativo la quantità di dati che devono essere caricati e scaricati.
• Funzionalità offline: l'applicazione può continuare a funzionare anche senza una connessione a internet, garantendo un funzionamento continuo in ambienti remoti o disconnessi.

Per aiutarti a scegliere l'approccio migliore per le tue esigenze specifiche, ecco un rapido confronto delle caratteristiche principali e dei casi d'uso per ogni tipo di inferenza AI:

L'inferenza dell'AI presenta una serie distinta di sfide tecniche, tra cui la gestione della latenza, il controllo dei costi e la garanzia della scalabilità. Google Cloud offre un percorso flessibile per l'inferenza, che ti consente di scegliere gli strumenti giusti in base alla complessità del modello, alle esigenze di prestazioni e alla capacità operativa. Puoi iniziare con soluzioni completamente gestite e adottare progressivamente un'infrastruttura più personalizzata man mano che i tuoi requisiti si evolvono.

Questo approccio è ideale per gli sviluppatori di qualsiasi livello di abilità, compresi quelli che si avvicinano all'AI per la prima volta e che vogliono integrare rapidamente potenti funzionalità di AI. Richiede semplici chiamate API senza la necessità di gestire modelli o infrastrutture.

Questa opzione è destinata agli sviluppatori che hanno già creato un modello personalizzato. Puoi eseguirne il deployment nel servizio gestito di Google Cloud, il che significa che non devi occuparti della complessa configurazione del server o dell'orchestrazione. Puoi concentrarti sul modello, non sull'infrastruttura.

Offre a sviluppatori e MLOps un controllo granulare e la flessibilità per eseguire il deployment, gestire e scalare servizi di inferenza containerizzati personalizzati, spesso con hardware specializzato, in ambienti cloud o ibridi.

Se lavori con SQL, ora puoi ottenere previsioni dai modelli di AI direttamente dove risiedono già i tuoi dati. In questo modo non è necessario spostare i dati su una piattaforma separata, semplificando il workflow.