Google Cloud debutta con la sua versione più potente, l'intelligenza artificiale

AGGIORNATO 08:00 EDT / 29 AGOSTO 2023

di Mike Wheatley

Google Cloud sta potenziando la sua infrastruttura informatica di intelligenza artificiale basata su cloud, aggiungendo nuove unità di elaborazione tensore e macchine virtuali basate su unità di elaborazione grafica che ritiene siano ottimizzate per alimentare i carichi di lavoro AI più impegnativi.

Le nuove VM ottimizzate per l’intelligenza artificiale sono state annunciate al Google Cloud Next 2023, insieme al lancio di un’offerta Google Distributed Cloud aggiornata che consente di eseguire carichi di lavoro di intelligenza artificiale e analisi dei dati in qualsiasi luogo, anche ai margini della rete. Inoltre, Google ha lanciato una nuova edizione di livello aziendale di Google Kubernetes Engine per applicazioni basate su container.

In un post sul blog, Amin Vahdat, direttore generale di Google per l'apprendimento automatico, i sistemi e l'intelligenza artificiale nel cloud, ha affermato che i clienti richiedono VM più potenti per gestire le richieste in crescita esponenziale di nuovi carichi di lavoro come l'intelligenza artificiale generativa e modelli linguistici di grandi dimensioni. "Il numero di parametri negli LLM è aumentato di 10 volte all'anno negli ultimi cinque anni", ha affermato. “Di conseguenza, i clienti hanno bisogno di un’infrastruttura ottimizzata per l’intelligenza artificiale che sia economicamente vantaggiosa e scalabile”.

Per rispondere a questa esigenza, Google ha concepito il Cloud TPU v5e, disponibile ora in anteprima. Si dice che sia il cloud TPU più conveniente, versatile e scalabile che abbia mai ideato, fornendo integrazione con GKE, il framework di machine learning di Google Vertex AI e vari framework AI leader, come PyTorch, TensorFlow e JAX. Si dice che sia progettato per applicazioni di formazione e inferenza IA su media e larga scala, offrendo prestazioni di formazione fino a due volte più veloci per dollaro e fino a 2,5 volte le prestazioni di inferenza per dollaro per LLM e modelli di IA generativa, rispetto alla generazione precedente. CloudTPU v4.

La buona notizia è che i clienti non devono sacrificare prestazioni o flessibilità per questi guadagni in termini di efficienza dei costi, ha affermato Vahdat. Ha affermato che i pod TPU v5e offrono un perfetto equilibrio tra prestazioni, flessibilità ed efficienza, consentendo l'interconnessione di un massimo di 256 chip con una larghezza di banda superiore a 400 terabyte al secondo e 100 petaOps di prestazioni. I clienti possono scegliere tra otto diverse configurazioni di VM, che vanno da un singolo chip a più di 250 in una singola porzione. Offre ai clienti una flessibilità superiore per addestrare ed eseguire un'ampia varietà di LLM e modelli di intelligenza artificiale, ha aggiunto Vahdat.

Con il lancio delle VM Cloud TPU v5e, Google rende disponibile in anteprima anche una nuova tecnologia Multislice, che consente di combinare decine di migliaia di chip TPU v5e o dei vecchi chip TPU v4 di Google. In precedenza, i clienti erano limitati a una singola fetta di chip TPU, il che significava che avevano un limite massimo di 3.072 chip con TPU v4. Multislice consente agli sviluppatori di lavorare con decine di migliaia di chip basati su cloud collegati tramite un'interconnessione interchip.

Oltre alle VM TPU v5e, Google ha annunciato le sue nuove VM A3 basate sull'ultima GPU H100 di Nvidia Corp., affermando che sono progettate appositamente per i carichi di lavoro di intelligenza artificiale generativa più impegnativi. Secondo Google, offrono un enorme balzo in avanti in termini di prestazioni rispetto alle GPU A100 della generazione precedente, con un training tre volte più veloce e una larghezza di banda di rete 10 volte maggiore. Grazie alla maggiore larghezza di banda, i clienti possono ampliare i propri modelli fino a decine di migliaia di GPU H100, ha affermato Vahdat.

Ora in anteprima, una singola VM A3 racchiude otto GPU H100 insieme a 2 terabyte di memoria host e contiene anche le ultime unità di elaborazione centrale scalabili Xeon di quarta generazione di Intel per scaricare altre attività applicative.

Google ha affermato che la startup di intelligenza artificiale generativa Anthropic AI, che è una rivale di OpenAI LP, è una delle prime ad adottare le sue nuove VM TPU v5e e A3. Le ha utilizzate insieme a Google Kubernetes Engine per addestrare, distribuire e condividere le sue funzionalità più utili. modelli avanzati.