سه شاخص برای تشخیص انباشته‌شدن صف رونویسی

با تغییر طول صف، سن قدیمی‌ترین کار منتظر و نرخ تکمیل موفق، انباشت صف را از یک موج موقت جدا کنید. یک اسکریپت ساده هم محاسبه و تفسیر اولیه را نشان می‌دهد.

برای تشخیص انباشت صف رونویسی، طول صف را تنها نخوانید: تغییر تعداد کارهای منتظر، سن قدیمی‌ترین کار منتظر و نرخ تکمیل موفق را کنار هم بگذارید. اگر صف در چند بازه متوالی بزرگ‌تر شود، قدیمی‌ترین کار بیشتر منتظر بماند و خروجی موفق نتواند عقب‌ماندگی را جبران کند، باید علت انباشت را بررسی کنید. این راهنما برای سارا، توسعه‌دهنده مسئول یک سرویس رونویسی با صف FIFO و کارهای هم‌اولویت، یک محاسبه قابل اجرا و قاعده تصمیم اولیه می‌سازد.

۱. مرز اندازه‌گیری را درست انتخاب کنید

در این مقاله «منتظر» یعنی کار آماده‌ای که هنوز به worker تحویل نشده است. کار در حال اجرا، کار زمان‌بندی‌شده برای آینده و کار داخل مهلت تأخیر retry را در این عدد مخلوط نکنید. RabbitMQ هم پیام‌های آماده تحویل را از پیام‌های تحویل‌داده‌شده ولی تأییدنشده جدا می‌کند؛ این تفکیک مهم است، چون خالی‌شدن بخش آماده الزاماً به معنی تمام‌شدن رونویسی نیست.

در هر نمونه‌برداری سه مقدار ثبت کنید: تعداد کارهای آماده، زمان ورود قدیمی‌ترین کار آماده به صف و شمارنده تجمعی کارهای یکتایی که خروجی نهایی آن‌ها با موفقیت ذخیره شده است. زمان نمونه‌برداری هم لازم است. شمارنده موفقیت را صرفاً با دریافت پیام یا پایان یک تلاش افزایش ندهید؛ retry و تحویل تکراری نباید یک خروجی را چند بار موفق بشمارند. برای جلوگیری از اختلاف ساعت، زمان ورود و زمان مشاهده را با ساعت‌های هماهنگ یا از یک مرجع زمانی مشترک بسازید.

۲. سه شاخص و معنای دقیق آن‌ها

شاخص اول، تغییر تعداد منتظرها در بازه است: ΔQ = Qپایان − Qابتدا. مقدار مثبت یعنی بخش آماده صف در آن بازه رشد کرده؛ نه اینکه حتماً سرویس خراب است. مثلاً تغییر از ۱۰ به ۲۲ یعنی ۱۲ کار بیشتر منتظرند. برای مقایسه بازه‌های متفاوت، این اختلاف را بر طول بازه تقسیم کنید. توجه کنید که خروج از صف آماده معمولاً هنگام تحویل به worker رخ می‌دهد، نه هنگام تکمیل موفق؛ بنابراین نباید ΔQ را بدون لحاظ کارهای در حال اجرا برابر «ورودی منهای موفقیت» فرض کرد.

شاخص دوم، سن قدیمی‌ترین کار منتظر است: A = زمان اکنون − زمان ورود قدیمی‌ترین کار آماده. وقتی صف آماده خالی است، در این قرارداد A را صفر ثبت می‌کنیم. افزایش این سن می‌گوید دست‌کم یک کار هنوز فرصت شروع پیدا نکرده است. اگر تعهد شما شروع پردازش تا ۶۰ ثانیه پس از ورود است، عبور A از ۶۰ ثانیه نقض همان تعهد است؛ این عدد یک مثال قراردادی است، نه آستانه عمومی سلامت صف.

شاخص سوم، نرخ تکمیل موفق است: R = اختلاف شمارنده موفقیت ÷ مدت بازه. افزایش شمارنده از ۱۰۰ به ۱۱۸ در ۶۰ ثانیه یعنی ۰٫۳۰ کار موفق در ثانیه. این نرخ خروجی واقعی را نشان می‌دهد، نه ظرفیت اسمی workerها. در مدل متریک Prometheus، تعداد منتظرها و سن قدیمی‌ترین کار از جنس gauge هستند و موفقیت تجمعی از جنس counter؛ برای نرخ عملیاتی باید reset شمارنده را هم مدیریت کنید.

۳. مثال قابل اجرا: رشد صف و سپس بازیابی

کد زیر فقط به Python 3 نیاز دارد. ورودی، سه نمونه داخل متغیر samples است: زمان بر حسب ثانیه، تعداد آماده‌ها، سن قدیمی‌ترین کار آماده و شمارنده موفقیت. نمونه اول مبنای محاسبه است. در بازه اول صف رشد می‌کند و سن از بودجه نمونه‌ای ۶۰ ثانیه عبور می‌کند؛ در بازه دوم صف کوچک‌تر می‌شود و سن پایین می‌آید. برچسب‌ها صرفاً غربال اولیه همین بازه‌اند، نه حکم قطعی سلامت سرویس.

```python
samples = [
{"t": 0, "ready": 10, "oldest_age_s": 20, "succeeded": 100},
{"t": 60, "ready": 22, "oldest_age_s": 65, "succeeded": 118},
{"t": 120, "ready": 8, "oldest_age_s": 12, "succeeded": 148},
]
start_budget_s = 60

for previous, current in zip(samples, samples[1:]):
dt = current["t"] - previous["t"]
completed = current["succeeded"] - previous["succeeded"]
if dt <= 0 or completed < 0:
raise ValueError("Invalid interval or counter reset")
delta_q = current["ready"] - previous["ready"]
age = current["oldest_age_s"]
rate = completed / dt

if delta_q > 0 and age > start_budget_s:
state = "BACKLOG_RISK"
elif delta_q < 0 and age < previous["oldest_age_s"] and rate > 0:
state = "RECOVERING"
else:
state = "CHECK_TREND"

print(f'{previous["t"]}-{current["t"]}s '
f'delta_ready={delta_q:+d} oldest={age}s '
f'success_rate={rate:.2f}/s {state}')
```

کد را در فایل queue_health.py ذخیره و با دستور زیر اجرا کنید. برای آزمایش داده واقعی، مقادیر samples را با نمونه‌های متوالی از همان صف جایگزین کنید؛ داده چند صف یا چند شمارنده با دامنه متفاوت را در یک محاسبه ترکیب نکنید.

```bash
python3 queue_health.py
```

خروجی مورد انتظار:

```other
0-60s delta_ready=+12 oldest=65s success_rate=0.30/s BACKLOG_RISK
60-120s delta_ready=-14 oldest=12s success_rate=0.50/s RECOVERING
```

۴. از مشاهده تا تصمیم؛ کجا این روش گمراه می‌کند؟

اگر رشد صف و افزایش سن در چند بازه متناسب با طول معمول کارها ادامه یافت، ابتدا نرخ موفقیت را با سابقه همان سرویس و ترکیب مشابه فایل‌ها مقایسه کنید. افت خروجی، بررسی خطای worker، محدودیت سرویس رونویسی و دسترسی به محل ذخیره خروجی را مقدم می‌کند. خروجی ثابت همراه با رشد انتظار می‌تواند نشانه ورود بار بیش از توان فعلی باشد؛ افزایش هم‌زمانی را فقط پس از بررسی ظرفیت منبع گلوگاه و محدودیت سرویس بالادستی انجام دهید. این سه عدد به‌تنهایی علت را اثبات نمی‌کنند.

مهم‌ترین حالت شکست، دریافت زودهنگام تعداد زیادی کار توسط worker است: صف آماده کوتاه می‌شود و سن آن پایین می‌آید، ولی کارها در حال اجرا گیر کرده‌اند. نرخ موفقیت ممکن است برای یک بازه کوتاه صفر باشد چون فایل‌ها طولانی‌اند؛ صفرماندن آن فراتر از زمان اجرای معمول نیازمند بررسی است. برای این حالت، تعداد و سن کارهای در حال اجرا را نیز ببینید؛ راهنمای پایش Celery ابزارهای مشاهده وضعیت worker و task را توضیح می‌دهد. بنابراین برچسب RECOVERING در مثال فقط بازیابی بخش انتظار را نشان می‌دهد.

مزیت شمارش کارها، سادگی و هزینه کم جمع‌آوری است؛ هزینه این انتخاب، نادیده‌گرفتن طول فایل صوتی است. اگر طول فایل‌ها به‌شدت متفاوت است، برای تصمیم ظرفیت، مدت صوت منتظر و دقیقه صوت تکمیل‌شده در واحد زمان از تعداد فایل معنادارترند. همچنین این قاعده را برای صف اولویت‌دار، کارهای عمداً عقب‌افتاده یا تشخیص تأخیر سرتاسری کاربر به کار نبرید: در آن موارد باید به‌ترتیب اولویت، زمان مجاز اجرا یا فاصله ثبت درخواست تا آماده‌شدن خروجی را مستقیماً اندازه بگیرید.

منابع

RabbitMQ — Monitoring
https://www.rabbitmq.com/docs/monitoring
برای تفکیک وضعیت پیام‌ها و اصول مشاهده صف و نرخ‌ها.

Prometheus — Metric types
https://prometheus.io/docs/concepts/metric_types/
برای تفاوت gauge و counter و رفتار شمارنده تجمعی.

Celery — Monitoring and Management Guide
https://docs.celeryq.dev/en/stable/userguide/monitoring.html
برای مشاهده workerها، کارهای فعال و رویدادهای اجرای task.

No comments yet