Guides
Rate limit, параллелизм и backoff
Лимиты зависят от Key, модели, группы и upstream; сайт не публикует фиксированное числовое обещание.
Считайте 429 сигналом временной ёмкости, учитывайте Retry-After, используйте jitter и ограничивайте параллелизм.
- TPS
- Не обещан
- Сигнал
- 429
- Header
- Retry-After
- Стратегия
- Bounded backoff
Политика клиента
- Ограничьте concurrency на аккаунт и используйте очередь.
- Перед exponential backoff с jitter прочитайте Retry-After.
- Не повторяйте безусловно 400, 401, 402 и 403.
- Для временного 5xx применяйте ограниченный retry и сохраняйте request_id.
Потоки
Для streaming нужен более длинный read timeout: ожидание первого Token и длинный ответ не должны считаться мёртвым соединением.