Vertex AI 配额和限制

使用集合让一切井井有条 根据您的偏好保存内容并对其进行分类。

每个区域用于服务的 v5e TPU 芯片数量
区域	值
us-west1	4
us-west2	不可用
us-west3	不可用
us-west4	不可用
us-central1	不可用
us-east1	不可用
us-east4	不可用
us-east5	不可用
us-south1	不可用
northamerica-northeast1	不可用
northamerica-northeast2	不可用
southamerica-east1	不可用
southamerica-west1	不可用
europe-west2	不可用
europe-west1	不可用
europe-west4	不可用
europe-west6	不可用
europe-west3	不可用
europe-north1	不可用
europe-central2	不可用
europe-west8	不可用
europe-west9	不可用
europe-southwest1	不可用
asia-south1	不可用
asia-southeast1	不可用
asia-southeast2	不可用
asia-east2	不可用
asia-east1	不可用
asia-northeast1	不可用
asia-northeast2	不可用
australia-southeast1	不可用
australia-southeast2	不可用
asia-northeast3	不可用
me-west1	不可用
me-central1	不可用
me-central2	不可用
europe-west12	不可用
africa-south1	不可用

自定义训练模型限制

以下限制适用于给定项目和区域的 Vertex AI 自定义训练模型。

服务

限制	值
每个项目的副本数量	200
每个集群的容器数	25000

Vertex AI Feature Store

本部分列出了以下各项的配额和限制：

• Vertex AI Feature Store

• Vertex AI Feature Store（旧版）

Vertex AI Feature Store

以下配额适用于给定项目和区域。例如，在单个项目中，您可以在 us-central1 中有 200 个在线传送节点，在 us-east4 中又有 50 个节点。

配额	值
每分钟的在线传送请求数	300,000
FeatureOnlineStore 实例数上限	10
每分钟的搜索请求数上限	6,000,000
项目中所有优化的 FeatureOnlineStore 实例中的在线传送节点数上限	80
所有 FeatureOnlineStore 实例中的 FeatureView 实例数上限	30

Vertex AI Feature Store 还存在以下限制。您不能申请提高下表中的任何限额：

限制	值
项目和位置中的 FeatureGroup 资源数上限	250
FeatureGroup 中的 Feature 资源数上限	10000
每个实体的特征数据大小上限	5 MB
每个在线传送请求的实体 ID 数(FetchFeatureValues)	1
实体 ID 的长度上限	4076 个字符
一个优化的在线传送节点的存储空间上限	200 GB

Vertex AI Feature Store（旧版）

以下配额适用于给定项目和区域。例如，在单个项目中，您可以在 us-central1 中有 75 个并发批量作业，在 europe-west4 中又有 75 个作业。

配额	值
每分钟的在线传送请求数	300,000
每分钟流式注入请求数	60000
每分钟流式注入写入吞吐量	1.2 GB
每分钟的特征创建请求数	100
所有特征存储区的在线传送节点数	30
并发批量作业数（注入、服务和删除特征值的总和）	75
删除特征值的并发请求	1
所有特征存储区的实体类型数	75

Vertex AI Feature Store（旧版）还存在以下限制。您不能申请提高下表中的任何限额：

限制	值
一个在线传送节点的存储空间上限	5 TB
离线存储区中的数据总量	无限制
每个实体类型的特征数	5,000
每个区域每个项目每天创建、更新和删除的特征存储区请求数	500
对于流式注入，每个请求的大小	1 MB
对于流式读取，每个请求可以包含的实体数	100
对于批量导入，每个请求可以包含的文件数	5,000（对于 Avro）或 500（对于 CSV）
对于批量传送和导出，您可以请求的特征数量	5,000
对于批量注入和流式注入，可注入特征数据的最早时间戳	从当前日期算起 4,000 天

Vertex AI Feature Store（旧版）中的数据保留限制使用以下默认值（您可以替换该默认值）：

数据保留默认值	默认值
离线存储区中的数据保留（值被删除后的最早特征值时间戳）	4,000 天，从当前日期算起
在线存储区中的数据保留（值被删除后的最早特征值时间戳）	4,000 天，从当前日期算起

您可以通过以下方式替换数据保留限制：

• 如需替换在线存储区的数据保留限制，请在创建或更新特征存储区时设置 online_storage_ttl_days 参数。

• 如需替换离线存储区的数据保留限制，请在创建或更新实体类型时设置 offline_storage_ttl_days 参数。

向量搜索

以下配额适用于每个区域中给定项目的 Vector Search。

Vertex ML Metadata

以下限制适用于每个区域中给定项目的 Vertex ML Metadata。

Vertex AI Pipelines

以下配额和限制适用于每个区域中给定项目的 Vertex AI Pipelines。

^* 超出此限制的流水线运行和任务请求会排入队列，直到资源可用。

Vertex AI Pipelines 具有以下限制。请注意，与配额不同，您不能申请提高上限。

^* 超出此限制的流水线任务将被取消。

Vertex AI 决策优化

以下配额和限制适用于每个区域中给定项目的 Vertex AI 决策优化。

Colab Enterprise 配额和限制

Colab Enterprise 配额和限制会单独列出。请参阅 Colab Enterprise 配额和限制。

增加配额

若要增加 Vertex AI 的某个配额，您可以使用 Google Cloud 控制台申请增加配额。

如需详细了解如何提交配额增加请求，请参阅查看和管理配额中的以下部分：

• 申请配额调整

按区域和模型的配额

在 Google Cloud 控制台中查看和修改配额

如需在 Google Cloud 控制台中查看和修改配额，请执行以下操作：

1. 前往配额和系统限制页面。

前往“配额和系统限制”页面

2. 如需调整配额，请复制并粘贴属性 aiplatform.googleapis.com/generate_content_requests_per_minute_per_project_per_base_model 到过滤条件中。按 Enter 键。
3. 点击行末的三点状图标，然后选择修改配额。
4. 在该窗格中输入新的配额值，然后点击提交请求。

按区域和模型查看每分钟请求数 (RPM) 配额

默认情况下，2.0 及更高版本的模型使用动态共享配额 (DSQ)。

选择一个区域以查看每个可用模型的配额：

增加配额

若要增加 Vertex AI 上的生成式 AI 的任何配额，您可以使用 Google Cloud 控制台申请增加配额。

RAG 引擎配额

对于使用 RAG 引擎执行检索增强生成 (RAG) 的每项服务，都适用以下配额，配额以每分钟请求数 (RPM) 为单位。

服务	配额	指标
RAG 引擎数据管理 API	60 RPM	VertexRagDataService requests per minute per region
RetrievalContexts API	1,500 RPM	VertexRagService retrieve requests per minute per region
base_model: textembedding-gecko	1,500 RPM	Online prediction requests per base model per minute per region per base_model 您可以指定的其他过滤条件是 base_model: textembedding-gecko

存在以下限制：

服务	限制	指标
并发 ImportRagFiles 请求	3 RPM	VertexRagService concurrent import requests per region
每个 ImportRagFiles 请求的文件数量上限	10000	VertexRagService import rag files requests per region

如需了解更多速率限制和配额，请参阅 Vertex AI 上的生成式 AI 速率限制。

批量请求

批量预测请求的配额和限制在所有区域中都是相同的。

并发批量预测请求数限制

下表列出了并发批量预测请求数量的限制：

限额	值
Gemini 模型	8

如果提交的任务数量超过分配的上限，则会将任务放入队列中，并在上限容量可用时进行处理。

并发批量预测请求配额

下表列出了并发批量预测请求数量的配额，这些配额不适用于 Gemini 模型：

配额	值
aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs	4

如果提交的任务数量超过分配的配额，则会将任务放入队列中，并在配额容量可用时进行处理。

自定义训练模型配额

以下配额适用于给定项目和区域的 Vertex AI 上的生成式 AI 调优模型：

配额	值
每个区域的受限图片训练 TPU V3 pod 核心数 *受支持的区域 - europe-west4	64
每个区域的受限图片训练 Nvidia A100 80GB GPU * 支持的区域 - us-central1 * 支持的区域 - us-east4	8 2

* 在特定区域中，调优场景具有加速器预留。支持调优配额，并且必须在特定区域中申请。

文本嵌入限制

每个文本嵌入模型请求最多可以包含 250 个输入文本（每个输入文本生成 1 个嵌入），每个请求最多可以包含 2 万个词元。系统仅使用每个输入文本的前 2,048 个令牌来计算嵌入。

对于 text-embedding-large-exp-03-07，每个请求只能包含一条输入文本。此模型的配额列在名称 text-embedding-large-001 下。

Gen AI Evaluation Service 服务配额

Gen AI Evaluation Service 使用 gemini-2.0-flash 作为基于模型的指标的默认评判模型。 对基于模型的指标的单个评估请求可能会导致对 Gen AI Evaluation Service 发出多个底层请求。每个模型的配额按项目计算，这意味着定向到 gemini-2.0-flash 进行模型推理和基于模型的评估的任何请求都会计入配额。 Gen AI Evaluation Service 和底层评判模型的配额如下表所示：

请求配额	默认配额
每分钟的 Gen AI Evaluation Service 请求数	每个区域中每个项目 1,000 个请求
base_model: gemini-2.0-flash 的每分钟在线预测请求数量	请参阅按区域和模型的配额。

如果您在使用 Gen AI Evaluation Service 时收到与配额相关的错误，则可能需要提交配额增加请求。如需了解详情，请参阅查看和管理配额。

限额	值
Gen AI Evaluation Service 请求超时	60 秒

在新项目中首次使用 Gen AI 评估服务时，您可能会遇到初始设置延迟，最长可达两分钟。如果第一个请求失败，请等待几分钟，然后重试。后续评估请求通常会在 60 秒内完成。

基于模型的指标的输入和输出词元数上限取决于用作评判模型的模型。如需查看模型列表，请参阅 Google 模型。

流水线评估配额

如果您在使用评估流水线服务时收到与配额相关的错误，则可能需要提交配额增加请求。如需了解详情，请参阅查看和管理配额。 评估流水线服务使用 Vertex AI Pipelines 来运行 PipelineJobs。查看 Vertex AI Pipelines 的相关配额。以下是一般配额建议：

服务	配额	建议
Vertex AI API	每个区域的并发 LLM 批量预测作业数	逐点：1 * num_concurrent_pipelines 成对：2 * num_concurrent_pipelines
Vertex AI API	每个区域每分钟的评估请求数	1000 * num_concurrent_pipelines

此外，基于模型的指标的相关配额取决于您使用的评判模型：

Tasks	配额	基本模型	建议
summarization question_answering	每个 base_model 每个区域每分钟每个基本模型的在线预测请求数	text-bison	60 * num_concurrent_pipelines

Vertex AI Agent Engine

以下配额和限制适用于每个区域中给定项目的 Vertex AI Agent Engine。

排查错误代码 429 的问题

如需排查 429 错误，请参阅错误代码 429。

后续步骤

• 详细了解 Vertex AI 上的生成式 AI 的配额和限制。