Jika jumlah permintaan Anda melebihi kapasitas yang dialokasikan untuk memproses
permintaan, kode error 429 akan ditampilkan. Tabel berikut menampilkan
pesan error yang dihasilkan oleh setiap jenis framework kuota:
| Framework kuota | Pesan |
|---|---|
| Bayar sesuai penggunaan | Resource exhausted, please try again later. |
| Throughput yang Disediakan | Too many requests. Exceeded the Provisioned Throughput. |
Dengan langganan Throughput yang Disediakan, Anda dapat mencadangkan
jumlah throughput untuk model AI generatif tertentu. Jika Anda tidak memiliki
langganan Provisioned Throughput dan resource tidak tersedia
untuk aplikasi Anda, kode error 429 akan ditampilkan. Meskipun tidak
memiliki kapasitas yang direservasi, Anda dapat mencoba permintaan lagi. Namun, permintaan tersebut
tidak dihitung dalam rasio error seperti yang dijelaskan dalam perjanjian tingkat layanan (SLA).
Untuk project yang telah membeli Provisioned Throughput,
Vertex AI mengukur throughput project dan mencadangkan jumlah throughput
yang dibeli untuk penggunaan sebenarnya dari project. Jika Anda menggunakan kurang dari
jumlah throughput yang dibeli, error yang mungkin ditampilkan sebagai 429
akan ditampilkan sebagai 5XX dan dihitung sebagai bagian dari rasio error yang
dijelaskan dalam SLA. Jika Anda menggunakan lebih dari jumlah throughput yang dibeli, permintaan tambahan akan diproses sebagai bayar sesuai penggunaan.
Bayar sesuai penggunaan
Pada framework kuota bayar sesuai penggunaan, Anda memiliki opsi berikut untuk menyelesaikan error 429:
- Gunakan endpoint global, bukan endpoint regional jika memungkinkan.
- Terapkan strategi percobaan ulang menggunakan backoff eksponensial yang terpotong.
- Jika model Anda menggunakan kuota, Anda dapat mengirimkan Permintaan Penambahan Kuota (QIR). Jika model Anda menggunakan Kuota bersama dinamis, melicinkan traffic dan mengurangi lonjakan besar dapat membantu. Untuk mengetahui informasi selengkapnya, lihat Kuota bersama dinamis (DSQ).
- Berlangganan Provisioned Throughput untuk tingkat layanan yang lebih konsisten. Untuk mengetahui informasi selengkapnya, lihat Throughput yang Disediakan.
Throughput yang Disediakan
Untuk memperbaiki error 429 yang dihasilkan oleh Provisioned Throughput, lakukan hal berikut:
- Gunakan Contoh perilaku default, yang tidak menetapkan header dalam permintaan prediksi. Semua kelebihan akan diproses on demand dan ditagih sebagai bayar sesuai pemakaian.
- Tingkatkan jumlah GSU dalam langganan Provisioned Throughput Anda.
Langkah berikutnya
- Untuk mempelajari kuota bersama dinamis lebih lanjut, lihat Kuota bersama dinamis.
- Untuk mempelajari Throughput yang Disediakan lebih lanjut, lihat Throughput yang Disediakan.
- Untuk mempelajari kuota dan batas untuk Vertex AI, lihat Kuota dan batas Vertex AI.
- Untuk mempelajari kuota dan batas Google Cloud lebih lanjut, lihat Memahami nilai kuota dan batas sistem.
- Untuk mempelajari error API lebih lanjut, lihat Error API.