Modelli di Llama

Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

I modelli Llama su Vertex AI offrono modelli completamente gestiti e serverless come API. Per utilizzare un modello Llama su Vertex AI, invia una richiesta direttamente all'endpoint dell'API Vertex AI. Poiché i modelli Llama utilizzano un'API gestita, non è necessario eseguire il provisioning o gestire l'infrastruttura.

Puoi trasmettere le risposte in streaming per ridurre la percezione della latenza da parte dell'utente finale. Una risposta in streaming utilizza gli eventi inviati dal server (SSE) per eseguire lo streaming incrementale della risposta.

Modelli di Llama disponibili

I seguenti modelli Llama sono disponibili da Meta per l'utilizzo in Vertex AI. Per accedere a un modello Llama, vai alla relativa scheda del modello in Model Garden.

I modelli in anteprima hanno anche l'opzione di deployment autonomo. Se necessiti di un servizio pronto per la produzione, utilizza i modelli Llama di deployment autonomo.

Llama 4 Maverick 17B-128E

Llama 4 Maverick 17B-128E è il modello Llama 4 più grande e potente che offre funzionalità di programmazione, ragionamento e immagini. Presenta un'architettura MoE (Mixture of Experts) con 17 miliardi di parametri attivi su 400 miliardi di parametri totali e 128 esperti. Llama 4 Maverick 17B-128E utilizza livelli di MoE e densi alternati, in cui ogni token attiva un esperto condiviso più uno dei 128 esperti di routing. Il modello è preaddestrato su 200 lingue e ottimizzato per interazioni di chat di alta qualità tramite una pipeline post-addestramento perfezionata.

Llama 4 Maverick 17B-128E è multimodale ed è adatto per la trascrizione avanzata delle immagini, l'analisi, la comprensione precisa delle immagini, le domande e le risposte visive, la generazione di testo creativo, gli assistenti IA generici e i chatbot sofisticati che richiedono intelligenza e comprensione delle immagini di alto livello.

Considerazioni

• Puoi includere un massimo di tre immagini per richiesta.
• L'endpoint MaaS non utilizza Llama Guard, a differenza delle versioni precedenti. Per utilizzare Llama Guard, esegui il deployment di Llama Guard da Model Garden e poi invia i prompt e le risposte a quell'endpoint. Tuttavia, rispetto a Llama 4, Llama Guard ha un contesto più limitato (128.000) e può elaborare solo richieste con una singola immagine all'inizio del prompt.
• Le previsioni in batch non sono supportate.

Llama 4 Scout 17B-16E

Llama 4 Scout 17B-16E offre risultati all'avanguardia per la sua classe di dimensioni e supera le generazioni precedenti di Llama e altri modelli aperti e proprietari su diversi benchmark. Presenta un'architettura MoE con 17 miliardi di parametri attivi su 109 miliardi di parametri totali e 16 esperti.

Llama 4 Scout 17B-16E è adatto per le attività di recupero in contesti lunghi e per le attività che richiedono il ragionamento su grandi quantità di informazioni, ad esempio il riepilogo di più documenti di grandi dimensioni, l'analisi di estesi log di interazione utente per la personalizzazione e il ragionamento su codebase di grandi dimensioni.

Considerazioni

• Puoi includere un massimo di tre immagini per richiesta.
• L'endpoint MaaS non utilizza Llama Guard, a differenza delle versioni precedenti. Per utilizzare Llama Guard, esegui il deployment di Llama Guard da Model Garden e poi invia i prompt e le risposte a quell'endpoint. Tuttavia, rispetto a Llama 4, Llama Guard ha un contesto più limitato (128.000) e può elaborare solo richieste con una singola immagine all'inizio del prompt.
• Le previsioni in batch non sono supportate.

Llama 3.3

Llama 3.3 è un modello ottimizzato per le istruzioni di 70 miliardi di byte solo testo che offre prestazioni superiori rispetto a Llama 3.1 70B e Llama 3.2 90B se utilizzato per applicazioni solo testo.

Durante il periodo di anteprima, ti vengono addebitati gli importi man mano che utilizzi il modello (a consumo). Per i prezzi di pagamento a consumo, consulta i prezzi dei modelli Llama nella pagina dei prezzi di Vertex AI.

Llama 3.2

Llama 3.2 consente agli sviluppatori di creare ed eseguire il deployment dei modelli di IA generativa più recenti e di applicazioni che utilizzano le funzionalità più recenti di Llama, come il ragionamento sulle immagini. Llama 3.2 è progettato anche per essere più accessibile per le applicazioni sul dispositivo.

Non sono previsti costi durante il periodo di anteprima. Se hai bisogno di un servizio pronto per la produzione, utilizza i modelli Llama self-hosted.

Considerazioni

Quando utilizzi llama-3.2-90b-vision-instruct-maas, non ci sono limitazioni per l'invio di prompt solo testo. Tuttavia, se includi un'immagine nel prompt, deve essere all'inizio del prompt e puoi includere una sola immagine. Ad esempio, non puoi includere del testo e poi un'immagine.

Llama 3.1

Llama 3.1 è un modello linguistico autoregressivo che utilizza un'architettura Transformer ottimizzata. Le versioni ottimizzate utilizzano l'ottimizzazione fine supervisionata (SFT) e l'apprendimento per rinforzo con feedback umano (RLHF) per allinearsi alle preferenze degli esseri umani in termini di utilità e sicurezza.

Llama 3.1 405B è disponibile pubblicamente. Gli addebiti vengono effettuati man mano che utilizzi il modello (a consumo). Per i prezzi di pagamento a consumo, consulta i prezzi dei modelli Llama nella pagina dei prezzi di Vertex AI.

Gli altri modelli Llama 3.1 sono in anteprima. Non sono previsti costi per i modelli di anteprima. Se hai bisogno di un servizio pronto per la produzione, utilizza i modelli Llama auto-hosted.

Utilizzare i modelli di Llama

Quando invii richieste per utilizzare i modelli di Llama, utilizza il seguente modello nomi:

• Per Llama 4 Maverick 17B-128E, utilizza llama-4-maverick-17b-128e-instruct-maas.
• Per Llama 4 Scout 17B-16E, utilizza llama-4-scout-17b-16e-instruct-maas.
• Per Llama 3.3 70B, utilizza llama-3.3-70b-instruct-maas.
• Per Llama 3.2 90B (anteprima), utilizza llama-3.2-90b-vision-instruct-maas.
• Per Llama 3.1 405B (GA), utilizza llama-3.1-405b-instruct-maas.
• Per Llama 3.1 70B (anteprima), utilizza llama-3.1-70b-instruct-maas.
• Per Llama 3.1 8B (anteprima), utilizza llama-3.1-8b-instruct-maas.

Ti consigliamo di utilizzare le versioni del modello che includono un suffisso che inizia con un simbolo @ a causa delle possibili differenze tra le versioni del modello. Se non specifichi una versione del modello, viene sempre utilizzata la versione più recente, il che può influire inavvertitamente sui tuoi flussi di lavoro quando una versione del modello cambia.

Prima di iniziare

Per utilizzare i modelli Llama con Vertex AI, devi eseguire i seguenti passaggi. Per utilizzare Vertex AI, è necessario attivare l'API Vertex AI (aiplatform.googleapis.com). Se hai già un progetto esistente con l'API Vertex AI abilitata, puoi utilizzarlo anziché crearne uno nuovo.

Assicurati di disporre delle autorizzazioni necessarie per attivare e utilizzare i modelli di partner. Per ulteriori informazioni, consulta Concedere le autorizzazioni richieste.

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Vertex AI API.

   Enable the API

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Vertex AI API.

   Enable the API

8. Vai a una delle seguenti schede del modello di Model Garden e fai clic su Abilita:
   • Vai alla scheda del modello Llama 4
   • Vai alla scheda del modello Llama 3.3
   • Vai alla scheda del modello Llama 3.2
   • Vai alla scheda del modello Llama 3.1

Fai una chiamata in streaming a un modello Llama

L'esempio seguente effettua una chiamata in streaming a un modello Llama.

POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions

{
  "model": "meta/MODEL",
  "messages": [
    {
      "role": "ROLE",
      "content": "CONTENT"
    }
  ],
  "max_tokens": MAX_OUTPUT_TOKENS,
  "stream": true,
  "extra_body": {
    "google": {
      "model_safety_settings": {
        "enabled": ENABLE_LLAMA_GUARD,
        "llama_guard_settings": {}
      }
    }
  }
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions" | Select-Object -Expand Content

data: {
  "choices": [
    {
      "delta": {
        "content": "CONTENT",
        "role": "assistant",
        "refusal: "REFUSAL_REASON" #If using Llama Guard and response was flagged by Llama Guard
      },
      "index": 0
    }
  ],
  "model": "meta/MODEL_NAME",
  "object": "chat.completion.chunk"
}

data: {
  "choices": [
    {
      "delta": {
        "content": "CONTENT",
        "role": "assistant"
      },
      "finish_reason": "stop",
      "index": 0
    }
  ],
  "model": "meta/MODEL_NAME",
  "object": "chat.completion.chunk",
  "usage": {
    "completion_tokens": 131,
    "prompt_tokens": 14,
    "total_tokens": 145
  }
}

Fai una chiamata unaria a un modello Llama

L'esempio seguente esegue una chiamata unaria a un modello Llama.

POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions

{
  "model": "meta/MODEL",
  "messages": [
    {
      "role": "ROLE",
      "content": "CONTENT"
    }
  ],
  "max_tokens": MAX_OUTPUT_TOKENS,
  "stream": false,
  "extra_body": {
    "google": {
      "model_safety_settings": {
        "enabled": ENABLE_LLAMA_GUARD,
        "llama_guard_settings": {}
      }
    }
  }
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions" | Select-Object -Expand Content

{
  "choices": [
    {
      "finish_reason": "stop",
      "index": 0,
      "message": {
        "content": "CONTENT",
        "role": "assistant",
        "refusal: "REFUSAL_REASON" #If using Llama Guard and response was flagged by Llama Guard
      }
    }
  ],
  "model": "meta/llama3-405b-instruct-maas",
  "object": "chat.completion",
  "usage": {
    "completion_tokens": 367,
    "prompt_tokens": 14,
    "total_tokens": 381
  }
}

Risposte segnalate

Per impostazione predefinita, Llama Guard 3 8B è attivato per tutte le previsioni effettuate con i modelli Llama 3.3 e Llama 3.1. Per impostazione predefinita, la visione di Llama Guard 3 11B è attivata su tutte le previsioni effettuate con i modelli Llama 3.2. Llama Guard contribuisce a proteggere le risposte controllando gli input e gli output. Se Llama Guard rileva che non sono sicuri, segnala la risposta.

Se vuoi disattivare Llama Guard, modifica l'impostazione di sicurezza del modello. Per ulteriori informazioni, consulta il campo model_safety_settings nell'esempio streaming o unario.

Utilizzare Vertex AI Studio

Per i modelli Llama, puoi utilizzare Vertex AI Studio per creare rapidamente un prototipo e testare i modelli di IA generativa nella Google Cloud console. Ad esempio, puoi utilizzare Vertex AI Studio per confrontare le risposte del modello Llama con quelle di altri modelli supportati, come Gemini di Google.

Per ulteriori informazioni, consulta la guida rapida Invia prompt di testo a Gemini utilizzando Vertex AI Studio.

Disponibilità e quote per la regione del modello Llama

Per i modelli Llama, viene applicata una quota per ogni regione in cui il modello è disponibile. La quota è specificata in query al minuto (QPM).

Le regioni supportate, le quote predefinite e la lunghezza massima del contesto per ciascun Il modello Llama è elencato nelle seguenti tabelle:

Llama 4 Maverick 17B-128E

Llama 4 Scout 17B-16E

Llama 3.3 70B

Llama 3.2 90B (anteprima)

Llama 3.1 405B (versione GA)

Llama 3.1 70B (anteprima)

Llama 3.1 8B (anteprima)

Se vuoi aumentare una delle quote per l'IA generativa su Vertex AI, puoi utilizzare la Google Cloud console per richiedere un aumento di quota. Per scoprire di più sulle quote, consulta Utilizzo delle quote.