Supporto GPU per i servizi

Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

Questa pagina descrive la configurazione della GPU per il servizio Cloud Run. Le GPU funzionano bene per i carichi di lavoro di inferenza AI, come i modelli linguistici di grandi dimensioni (LLM) o altri casi d'uso non AI ad alta intensità di calcolo, come la transcodifica video e il rendering 3D. Google fornisce GPU NVIDIA L4 con 24 GB di memoria GPU (VRAM), distinta dalla memoria dell'istanza.

Per utilizzare la funzionalità GPU, devi richiedere una quota. Per informazioni dettagliate, consulta Richiedere un aumento della quota.

La GPU su Cloud Run è completamente gestita e non sono necessari driver o librerie aggiuntivi. La funzionalità GPU offre disponibilità on demand senza necessità di prenotazioni, in modo simile al funzionamento della CPU e della memoria on demand in Cloud Run. Le istanze di un servizio Cloud Run configurato per l'utilizzo della GPU possono essere ridotte a zero per risparmiare sui costi quando non sono in uso.

Le istanze Cloud Run con una GPU L4 collegata con i driver preinstallati vengono avviate in circa 5 secondi, a quel punto i processi in esecuzione nel container possono iniziare a utilizzare la GPU.

Puoi configurare una GPU per istanza Cloud Run. Se utilizzi i contenitori sidecar, tieni presente che la GPU può essere collegata a un solo contenitore.

Aree geografiche supportate

• science us-central1 (Iowa) Bassi livelli di CO₂
• science asia-southeast1 (Singapore)
• science europe-west1 (Belgio) Basso livello di CO₂
• science europe-west4 (Paesi Bassi) Basso livello di CO₂
• science asia-south1 (Mumbai)
  • Nota: questa regione è disponibile solo su invito. Contatta il team dedicato all'Account Google se ti interessa questa regione

Tipi di GPU supportati

Puoi utilizzare una GPU L4 per ogni istanza Cloud Run. Una GPU L4 ha i seguenti driver preinstallati:

• La versione attuale del driver NVIDIA: 535.216.03 (CUDA 12.2)

Impatto sui prezzi

Per i dettagli sui prezzi delle GPU, consulta Prezzi di Cloud Run. Tieni presente i seguenti requisiti e considerazioni:

• Non sono previste commissioni per richiesta. Per utilizzare la funzionalità GPU, devi utilizzare la fatturazione basata sulle istanze. Le istanze minime vengono addebitate alla tariffa intera anche quando sono inattive.
• Devi utilizzare almeno 4 CPU e 16 GB di memoria.
• La GPU viene fatturata per l'intera durata del ciclo di vita dell'istanza.
• Esiste una differenza di costo tra la ridondanza delle GPU a livello di zona e la ridondanza non a livello di zona. Per i dettagli sui prezzi delle GPU, consulta la pagina Prezzi di Cloud Run.

Opzioni di ridondanza zonale delle GPU

Per impostazione predefinita, Cloud Run esegue il deployment del servizio in più zone all'interno di una regione. Questa architettura offre resilienza intrinseca: se una zona subisce un'interruzione, Cloud Run reindirizza automaticamente il traffico dalla zona interessata alle zone funzionanti all'interno della stessa regione.

Quando utilizzi le risorse GPU, tieni presente che hanno vincoli di capacità specifici. Durante un'interruzione di servizio a livello di zona, il meccanismo di failover standard per i carichi di lavoro GPU si basa sulla disponibilità di una capacità GPU inutilizzata sufficiente nelle zone rimanenti in buono stato. A causa della natura limitata delle GPU, questa capacità potrebbe non essere sempre disponibile.

Per aumentare la disponibilità dei servizi con accelerazione GPU durante le interruzioni di servizio nella zona, puoi configurare la ridondanza a livello di zona specificamente per le GPU:

• Ridondanza a livello di zona attivata (valore predefinito): Cloud Run riserva la capacità GPU per il tuo servizio su più zone. Ciò aumenta notevolmente la probabilità che il tuo servizio possa gestire correttamente il traffico reindirizzato da una zona interessata, offrendo una maggiore affidabilità durante i guasti zonali con un costo aggiuntivo per secondo-GPU.

• Ridondanza a livello di zona disattivata: Cloud Run tenta il failover per i carichi di lavoro GPU secondo il criterio del "best effort". Il traffico viene indirizzato ad altre zone solo se in quel momento è disponibile una capacità GPU sufficiente. Questa opzione non garantisce la capacità prenotata per gli scenari di failover, ma comporta un costo inferiore per secondo GPU.

SLA

L'SLA per la GPU Cloud Run dipende dal fatto che il servizio utilizzi l'opzione di ridondanza a livello di zona o di ridondanza non a livello di zona. Per informazioni dettagliate, consulta la pagina dell'SLA.

Richiedi un aumento della quota

Per accedere alle GPU di Cloud Run, devi richiedere un aumento della quota per il tuo servizio Cloud Run. Utilizza i link forniti nei pulsanti seguenti per richiedere la quota necessaria.

Per ulteriori informazioni su come richiedere aumenti di quota, consulta Come aumentare la quota.

Prima di iniziare

L'elenco seguente descrive i requisiti e le limitazioni per l'utilizzo delle GPU in Cloud Run:

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

6. Enable the Cloud Run API.

   Enable the API

7. Richiedi la quota richiesta.
8. Consulta la sezione Best practice: inferenza AI su Cloud Run con GPU per suggerimenti su come creare l'immagine del contenitore e caricare modelli di grandi dimensioni.
9. Assicurati che il servizio Cloud Run abbia le seguenti configurazioni:
• Configura le impostazioni di fatturazione in base alle istanze. Tieni presente che i servizi impostati per la fatturazione basata su istanze possono comunque essere scalati a zero.
• Configura un minimo di 4 CPU per il servizio, con un valore consigliato di 8 CPU.
• Configura almeno 16 GB di memoria, consigliati 32 GB.
• Determina e imposta un livello massimo di contemporaneità ottimale per l'utilizzo della GPU.
• Istanze massime deve essere impostato su un numero inferiore alla quota per progetto per regione per GPU consentita. Consulta Informazioni sulle GPU e sulle istanze massime.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per configurare ed eseguire il deployment dei servizi Cloud Run, chiedi all'amministratore di concederti i seguenti ruoli IAM:

• Cloud Run Developer (roles/run.developer) nel servizio Cloud Run
• Utente account di servizio (roles/iam.serviceAccountUser) nell'identità di servizio

Per un elenco dei ruoli e delle autorizzazioni IAM associati a Cloud Run, consulta Ruoli IAM di Cloud Run e Autorizzazioni IAM di Cloud Run. Se il servizio Cloud Run interagisce con le APIGoogle Cloud , ad esempio le librerie client di Cloud, consulta la guida alla configurazione dell'identità di servizio. Per ulteriori informazioni sulla concessione dei ruoli, consulta le autorizzazioni di deployment e gestisci l'accesso.

Configurare un servizio Cloud Run con GPU

Qualsiasi modifica alla configurazione comporta la creazione di una nuova revisione. Anche le revisioni successive acquisiranno automaticamente questa impostazione di configurazione, a meno che non apporti aggiornamenti espliciti per modificarla.

Puoi utilizzare la Google Cloud console, Google Cloud CLI o YAML per configurare la GPU.

  gcloud run deploy SERVICE \
    --image IMAGE_URL \
    --gpu 1

  gcloud run services update SERVICE \
    --image IMAGE_URL \
    --cpu CPU \
    --memory MEMORY \
    --no-cpu-throttling \
    --gpu GPU_NUMBER \
    --gpu-type GPU_TYPE \
    --max-instances MAX_INSTANCE
    --GPU_ZONAL_REDUNDANCY
    

resource "google_cloud_run_v2_service" "default" {
  provider = google-beta
  name     = "SERVICE"
  location = "us-central1"

  template {
    gpu_zonal_redundancy_disabled = GPU_ZONAL_REDUNDANCY
    containers {
      image = "IMAGE_URL"
      resources {
        limits = {
          "cpu" = "CPU"
          "memory" = "MEMORY"
          "nvidia.com/gpu" = "1"
        }
      }
    }
    node_selector {
      accelerator = "GPU_TYPE"
    }
  }
}

Visualizza le impostazioni della GPU

Per visualizzare le impostazioni GPU attuali per il servizio Cloud Run:

Rimozione della GPU

Puoi rimuovere la GPU utilizzando la Google Cloud console, Google Cloud CLI o YAML.

  gcloud run services update SERVICE --gpu 0
  

Librerie

Per impostazione predefinita, tutte le librerie dei driver NVIDIA L4 sono montate in/usr/local/nvidia/lib64. Cloud Run aggiunge automaticamente questo percorso alla variabile di ambiente LD_LIBRARY_PATH (ovvero ${LD_LIBRARY_PATH}:/usr/local/nvidia/lib64) del contenitore con la GPU. In questo modo, il linker dinamico può trovare le librerie dei driver NVIDIA. Il linker cerca e risolve i percorsi nell'ordine elencato nella variabile di ambiente LD_LIBRARY_PATH. Eventuali valori specificati in questa variabile hanno la precedenza sul percorso predefinito delle librerie del driver Cloud Run /usr/local/nvidia/lib64.

Se vuoi utilizzare una versione di CUDA successiva alla 12.2, il modo più semplice è fare affidamento su una immagine di base NVIDIA più recente con i pacchetti di compatibilità futura già installati. Un'altra opzione è installare manualmente i pacchetti di compatibilità futura di NVIDIA e aggiungerli a LD_LIBRARY_PATH. Consulta la matrice di compatibilità di NVIDIA per determinare quali versioni di CUDA sono compatibili con le versioni successive del driver NVIDIA fornito (535.216.03).

Informazioni sulle GPU e sulle istanze massime

Il numero di istanze con GPU è limitato in due modi:

• L'impostazione Istanze massime limita il numero di istanze per servizio. Non può essere impostato un valore superiore alla quota di GPU per progetto per regione per GPU.
• La quota di GPU consentite per progetto e per regione. Ciò limita il numero di istanze nei servizi nella stessa regione.