هماهنگی صف صوت و پاسخ ۴۲۹ با یک زمان انتظار مشترک

برای یک سرویس کم‌ترافیک تبدیل صوت به متن، صف محدود و زمان انتظار مشترک جلوی تکرار شتاب‌زده درخواست‌ها را می‌گیرد. با یک نمونه اجرایی، رفتار Retry-After و مرزهای این راهکار را آزمایش می‌کنیم.

برای جلوگیری از طوفان retry، پاسخ ۴۲۹ را به «زمان مجاز بعدی ارسال» برای کل صفِ دارای سهمیه مشترک تبدیل کنید، نه فقط به خواب همان درخواست. سارا، توسعه‌دهنده بک‌اند یک سرویس کم‌ترافیک تبدیل صوت به متن، می‌تواند با یک صف محدود و یک worker شروع کند: وقتی سرویس Retry-After می‌دهد، هیچ کار دیگری از همان صف زودتر ارسال نمی‌شود. نمونه این مقاله همین رفتار را بدون کلید API و بدون هزینه آزمایش می‌کند.

مسئله دقیق: retry یک کار نباید راه فرار بقیه صف باشد

فرض کنید سه قطعه صوت آماده ارسال‌اند. درخواست دوم ۴۲۹ می‌گیرد و باید یک ثانیه صبر کند. اگر فقط همان کار را بخوابانید ولی workerهای دیگر درخواست‌های بعدی را بفرستند، فشار روی همان سهمیه ادامه پیدا می‌کند. مطابق RFC 6585، وضعیت ۴۲۹ نشان‌دهنده ارسال بیش از حد درخواست است و پاسخ می‌تواند Retry-After داشته باشد؛ اما خود این وضعیت مشخص نمی‌کند سهمیه بر اساس کلید، کاربر، مسیر یا چه بازه‌ای محاسبه شده است. دامنه مکث را باید از قرارداد ارائه‌دهنده بفهمید.

در این راهکار تمام کارهای صف از یک سبد سهمیه استفاده می‌کنند. یک worker کار جاری را تا موفقیت یا پایان بودجه تلاش نگه می‌دارد. متغیر next_at هم حداقل فاصله معمول ارسال را اعمال می‌کند و هم پس از ۴۲۹ عقب می‌رود. با یک worker، این متغیر عملاً دروازه مشترک کل صف است؛ اضافه‌کردن worker بدون تبدیل این دروازه به یک هماهنگ‌کننده مشترک، این تضمین را از بین می‌برد.

سیاست انتظار: هدر سرور مقدم است، بودجه هم پایان دارد

Retry-After دو شکل استاندارد دارد: تعداد ثانیه و تاریخ HTTP. نمونه هر دو را می‌خواند. برای تاریخ، ابتدا با ساعت دیواری فاصله را محاسبه می‌کنیم؛ سپس زمان‌بندی محلی را با ساعت monotonic انجام می‌دهیم تا تغییر ساعت سیستم زمان انتظار ثبت‌شده را جابه‌جا نکند. اگر هدر غایب یا نامعتبر باشد، از backoff نمایی همراه با jitter استفاده می‌کنیم. این fallback سیاست برنامه است، نه تضمین استاندارد برای زمان آزادشدن سهمیه.

در مثال، هر کار حداکثر سه بار ارسال می‌شود و مجموع انتظارهای تحمیل‌شده توسط ۴۲۹ حداکثر ۳۰ ثانیه است. اگر سرور انتظار بیشتری بخواهد، کار شکست می‌خورد؛ هدر را به عدد کوچک‌تر تبدیل نمی‌کنیم و زودتر دوباره نمی‌فرستیم. این بودجه، deadline کل کار نیست: زمان شبکه، فاصله معمول ارسال و انتظار اولیه در صف جدا هستند. فاصله ۰٫۲ ثانیه‌ای کد نیز فقط برای نمایش است و نباید آن را سهمیه واقعی API صوت فرض کرد.

آزمایش اجرایی: کار b یک بار ۴۲۹ می‌گیرد

کد زیر را در audio_queue.py ذخیره کنید. تنها به کتابخانه استاندارد Python 3 نیاز دارد. ورودی آن سه شناسه a و b و c است که جای سه کار صوتی را می‌گیرند. سرور محلی در اولین ارسال b، پاسخ ۴۲۹ با Retry-After: 1 می‌دهد و در ارسال بعدی موفق می‌شود. پاسخ‌های موفق متن ساختگی دارند؛ این آزمایش منطق صف و HTTP را می‌سنجد، نه تبدیل صوت به متن را.

```python
import json
import random
import threading
import time
from datetime import datetime, timezone
from email.utils import parsedate_to_datetime
from http.server import BaseHTTPRequestHandler, HTTPServer
from queue import Queue
from urllib.error import HTTPError
from urllib.request import Request, urlopen

INTERVAL = 0.2
MAX_ATTEMPTS = 3
WAIT_BUDGET = 30.0
jobs = Queue(maxsize=2)


class MockAudioAPI(BaseHTTPRequestHandler):
seen = {}

def log_message(self, *args):
pass

def do_POST(self):
size = int(self.headers.get('Content-Length', '0'))
job = self.rfile.read(size).decode('utf-8')
count = self.seen.get(job, 0) + 1
self.seen[job] = count
limited = job == 'b' and count == 1
payload = {'error': 'rate limit'} if limited else {'text': 'text-' + job}
body = json.dumps(payload).encode('utf-8')
self.send_response(429 if limited else 200)
self.send_header('Content-Type', 'application/json')
self.send_header('Content-Length', str(len(body)))
if limited:
self.send_header('Retry-After', '1')
self.end_headers()
self.wfile.write(body)


def retry_delay(value, attempt):
if value is not None:
value = value.strip()
if value.isascii() and value.isdigit():
return int(value)
try:
date = parsedate_to_datetime(value)
if date.tzinfo is None:
date = date.replace(tzinfo=timezone.utc)
return max(0.0, (date - datetime.now(timezone.utc)).total_seconds())
except (ValueError, TypeError, OverflowError):
pass
return random.uniform(0, min(30.0, 2 ** (attempt - 1)))


def worker(url):
next_at = 0.0
while True:
job = jobs.get()
try:
if job is None:
return
waited = 0.0
for attempt in range(1, MAX_ATTEMPTS + 1):
time.sleep(max(0.0, next_at - time.monotonic()))
next_at = time.monotonic() + INTERVAL
request = Request(url, data=job.encode('utf-8'), method='POST')
try:
with urlopen(request, timeout=5) as response:
result = json.load(response)
print(f'{job}: ok {result["text"]}', flush=True)
break
except HTTPError as error:
status = error.code
header = error.headers.get('Retry-After')
error.close()
if status != 429:
raise RuntimeError(f'HTTP {status}')
delay = retry_delay(header, attempt)
# Keep the shared gate even if this job will fail.
next_at = max(next_at, time.monotonic() + delay)
if attempt == MAX_ATTEMPTS:
raise RuntimeError('attempt limit')
if waited + delay > WAIT_BUDGET:
raise RuntimeError('retry wait budget exceeded')
waited += delay
print(f'{job}: 429; shared wait {delay:.1f}s', flush=True)
except Exception as error:
print(f'{job}: failed ({error})', flush=True)
finally:
jobs.task_done()


def main():
server = HTTPServer(('127.0.0.1', 0), MockAudioAPI)
server_thread = threading.Thread(target=server.serve_forever, daemon=True)
server_thread.start()
url = f'http://127.0.0.1:{server.server_port}/audio'
consumer = threading.Thread(target=worker, args=(url,))
consumer.start()
for job in ('a', 'b', 'c'):
jobs.put(job)
jobs.put(None)
jobs.join()
consumer.join()
server.shutdown()
server.server_close()
server_thread.join()


if __name__ == '__main__':
main()
```

با فرمان زیر اجرا کنید. خروجی باید همین ترتیب را داشته باشد؛ بین خط ۴۲۹ و موفقیت b حداقل یک ثانیه مکث رخ می‌دهد. چون c پشت کار جاری می‌ماند، نمی‌تواند در زمان مکث درخواست تازه‌ای به همان سهمیه بفرستد.

```bash
python3 audio_queue.py
```

```other
a: ok text-a
b: 429; shared wait 1.0s
b: ok text-b
c: ok text-c
```

برای آزمودن مسیر شکست، مقدار Retry-After در سرور ساختگی را از 1 به 31 تغییر دهید. کار b باید با پیام retry wait budget exceeded شکست بخورد، اما دروازه مشترک همچنان حفظ می‌شود و c زودتر از پایان مکث ۳۱ ثانیه‌ای ارسال نمی‌شود. این تفاوت مهم است: بودجه retry متعلق به کار است، ولی محدودیت اعلام‌شده سرور متعلق به سبد سهمیه است؛ حذف کار نباید محدودیت سبد را پاک کند.

صف محدود چه چیزی را حل می‌کند و چه هزینه‌ای دارد؟

Queue(maxsize=2) حداکثر دو کار منتظر را نگه می‌دارد؛ کار در حال اجرا جزو این دو نیست. وقتی صف پر باشد، put تولیدکننده را متوقف می‌کند و فشار را به بالادست برمی‌گرداند. این فقط تعداد ارجاع‌های کار را محدود می‌کند، نه حجم فایل‌های صوتی را. در سرویس واقعی، فایل را در فضای ذخیره‌سازی نگه دارید و شناسه‌اش را صف کنید؛ برای درخواست ورودی نیز پذیرش نامحدود نداشته باشید. اگر ظرفیت ندارید، پیش از وعده پردازش، طبق قرارداد سرویس خود پاسخ عدم پذیرش بدهید.

هزینه این سادگی، توقف ابتدای صف است: صوت طولانی یا کار گرفتار retry، همه کارهای بعدی را عقب می‌اندازد. یک worker برای حجم پایین و عیب‌یابی روشن مناسب است، نه برای بیشینه‌کردن گذردهی. اگر چند درخواست هم‌زمان واقعاً مجازند، چند worker تنها وقتی انتخاب بهتری هستند که همگی پیش از هر ارسال از یک محدودکننده مشترک مجوز بگیرند و هر ۴۲۹ همان وضعیت مشترک را به‌روزرسانی کند. برای چند فرایند، متغیر محلی کافی نیست؛ ثبت اتمیک زمان مجاز بعدی و سیاست زمان‌بندی مشترک لازم است.

چه وقت این راهکار انتخاب غلطی است؟

اگر ۴۲۹ فقط به سهمیه یک کاربر مربوط است، توقف کل کاربران ناعادلانه است؛ صف و دروازه را بر اساس همان دامنه سهمیه جدا کنید. اگر محدودیت API بر حسب مدت صوت، حجم ورودی یا چند سهمیه هم‌زمان است، فاصله ثابت میان درخواست‌ها مدل کافی نیست. همچنین خطایی مثل تمام‌شدن اعتبار ممکن است با انتظار حل نشود؛ متن و کد خطای مستند ارائه‌دهنده را بررسی کنید و retry بی‌ثمر را متوقف کنید. این نمونه فقط وضعیت ۴۲۹ را می‌فهمد و آن طبقه‌بندی اختصاصی را پیاده نمی‌کند.

برای اتصال به API واقعی، بخش ارسال را مطابق مستندات همان سرویس جایگزین کنید، retry داخلی SDK را بررسی کنید تا ناخواسته دو لایه retry نسازید، و شناسه کار، تعداد تلاش، مدت انتظار، عمق صف و سن قدیمی‌ترین کار را ثبت کنید. خطاهای شبکه در این نمونه retry نمی‌شوند، چون timeout لزوماً به معنای پردازش‌نشدن درخواست نیست. پیش از تکرار عملیاتی که می‌تواند هزینه یا اثر تکراری داشته باشد، تضمین ارائه‌دهنده درباره idempotency یا روش بازیابی نتیجه را روشن کنید. صف حافظه‌ای این آزمایش نیز جای صف پایدار برای تعهد پردازش نیست.

منابع

RFC 6585، بخش ۴: وضعیت 429 Too Many Requests
https://www.rfc-editor.org/rfc/rfc6585#section-4

RFC 9110، بخش ۱۰.۲.۳: هدر Retry-After
https://www.rfc-editor.org/rfc/rfc9110#section-10.2.3

مستندات Python: صف همگام‌شده و Queue
https://docs.python.org/3/library/queue.html

مستندات Python: خطاهای urllib و HTTPError
https://docs.python.org/3/library/urllib.error.html

No comments yet