از خطاهای یک ماه صوت و سند، کدام اصلاح را وارد چرخهٔ بعد کنیم؟

خطاهای صوت و سند را با تعداد تیکت‌ها اولویت‌بندی نکنید. با یک گزارش قابل‌اجرا، موارد تکراری را حذف کنید، خطاهای بحرانی مشترک را پیدا کنید و برای اصلاح منتخب آزمون پذیرش بسازید.

برای چرخهٔ بعد، اصلاحی را انتخاب کنید که بیشترین کارِ مستقلِ آسیب‌دیده از یک خطای بحرانی را پوشش می‌دهد؛ نه خطایی که بیشترین تیکت را دارد. سارا، مسئول کیفیت یک سرویس پیاده‌سازی صوت و استخراج اطلاعات سند، می‌تواند با گزارش زیر از داده‌های یک ماه یک نامزد اصلاح، چند نمونهٔ قابل بررسی و یک معیار پذیرش مشخص بسازد. در مثال ساختگی این مقاله، «مقدار عددی نادرست» نامزد نخست است؛ اما هنوز معلوم نیست اصلاح آن در صوت و سند باید مشترک باشد.

۱. واحد شمارش را از تیکت به کار آسیب‌دیده تغییر دهید

فرض کنید مشتری دربارهٔ مبلغ اشتباه یک فاکتور سه بار پیام داده است. این سه پیام، سه شکست مستقل نیستند. واحد شمارش این گزارش، ترکیب «نوع ورودی، شناسهٔ کار، خانوادهٔ خطا» است. بنابراین یک کار می‌تواند در دو خانوادهٔ خطا شمرده شود، اما گزارش‌های تکراری همان خانواده در همان کار فقط یک بار حساب می‌شوند. مجموع ردیف‌های خانواده‌ها نیز لزوماً برابر تعداد کل کارهای خراب نیست.

برای هر گزارش پنج فیلد نگه دارید: شناسهٔ گزارش، نوع ورودی، شناسهٔ کار، خانوادهٔ خطا و بحرانی‌بودن. «بحرانی» را پیش از شمارش تعریف کنید: در این مثال، خطایی که مقدار یک فیلد مورد استفاده در تصمیم یا ثبت عملیاتی را تغییر داده باشد. غلط املایی بدون تغییر معنا بحرانی نیست. این تعریف محلی است؛ مثلاً در یک فرایند حقوقی، اشتباه در نام نیز ممکن است بحرانی باشد. شناسه‌ها باید غیرحساس باشند و به نمونهٔ اصلی در مخزن دارای کنترل دسترسی ارجاع بدهند.

۲. گزارش ماهانه را با دادهٔ ساختگی اجرا کنید

کد زیر فقط به کتابخانهٔ استاندارد Python 3 نیاز دارد. ورودی CSV داخل برنامه است تا مثال بدون فایل جانبی اجرا شود؛ در استفادهٔ واقعی، همین ساختار را از خروجی بازبینی ماهانه بخوانید. برنامه مقدارهای مجاز را بررسی می‌کند و اگر دو گزارش دربارهٔ یک کار و خانوادهٔ خطا در بحرانی‌بودن اختلاف داشته باشند، متوقف می‌شود. حل اختلاف برچسب‌گذاری باید پیش از جلسهٔ اولویت‌بندی انجام شود، نه با انتخاب خودکار برچسب شدیدتر.

```python
import csv
import io
from collections import defaultdict

DATA = """report_id,modality,job_id,family,critical
r1,audio,a01,numeric_value,1
r2,audio,a01,numeric_value,1
r3,audio,a02,numeric_value,1
r4,document,d01,numeric_value,1
r5,document,d02,date_value,1
r6,document,d03,date_value,1
r7,audio,a03,punctuation,0
r8,document,d04,layout,0
"""

labels = {}
report_ids = set()
for row in csv.DictReader(io.StringIO(DATA)):
if not all(row.values()):
raise ValueError('Missing field')
if row['report_id'] in report_ids:
raise ValueError('Duplicate report_id')
report_ids.add(row['report_id'])
if row['modality'] not in {'audio', 'document'}:
raise ValueError('Invalid modality')
if row['critical'] not in {'0', '1'}:
raise ValueError('Invalid critical label')
key = (row['modality'], row['job_id'], row['family'])
critical = row['critical'] == '1'
if key in labels and labels[key] != critical:
raise ValueError('Conflicting labels: ' + str(key))
labels[key] = critical

by_family = defaultdict(lambda: defaultdict(set))
for (modality, job_id, family), critical in labels.items():
if critical:
by_family[family][modality].add(job_id)

def total(groups):
return sum(len(jobs) for jobs in groups.values())

print('family,critical_jobs,audio,document')
for family, groups in sorted(
by_family.items(), key=lambda item: (-total(item[1]), item[0])
):
print(','.join(map(str, [
family, total(groups),
len(groups.get('audio', set())),
len(groups.get('document', set()))
])))
```

برنامه را در فایل monthly_errors.py ذخیره کنید و با فرمان زیر اجرا کنید. ورودی هشت گزارش دارد، اما r1 و r2 به یک خطای عددی در یک کار اشاره می‌کنند؛ بنابراین دو بار شمرده نمی‌شوند. خطاهای غیربحرانی نیز در این فهرست خاص حضور ندارند؛ حذف آن‌ها از خروجی به معنی بی‌اهمیت‌بودن یا حذف از مخزن خطا نیست.

```bash
python3 monthly_errors.py
```

خروجی مورد انتظار چنین است. numeric_value سه کار بحرانی را درگیر کرده است: دو صوت و یک سند. date_value دو کار سند را درگیر کرده است. این اعداد فقط دربارهٔ ورودی ساختگی‌اند و هیچ ادعایی دربارهٔ عملکرد یک محصول واقعی ندارند.

```other
family,critical_jobs,audio,document
numeric_value,3,2,1
date_value,2,0,2
```

۳. ردیف اول گزارش را به اصلاح قابل آزمون تبدیل کنید

سارا باید سه کار مربوط به numeric_value را باز کند و برای هرکدام مقدار مرجع، مقدار خروجی، محل شاهد و مرحلهٔ ایجاد خطا را ثبت کند. ممکن است در صوت، «پانزده» از ابتدا «پنجاه» تشخیص داده شده باشد، اما در سند، جداکنندهٔ اعشار هنگام تبدیل متن به عدد حذف شده باشد. این دو مورد یک پیامد دارند، نه الزاماً یک علت. برچسب گزارش برای یافتن محل بررسی مفید است، نه اثبات علت ریشه‌ای.

اگر بررسی نشان داد خطای مشترک واقعاً در تبدیل ارقام و جداکننده‌هاست، دامنهٔ اصلاح را همان‌جا ببندید: «اصلاح تبدیل مقدار عددی پس از استخراج، بدون تغییر مرحلهٔ تشخیص صوت یا OCR». اگر علت‌ها متفاوت بودند، دو کار مستقل بسازید و هزینه، پوشش موارد مشاهده‌شده و ریسک هرکدام را جداگانه بسنجید. سند پسارخداد Google SRE بر اقدام‌های پیگیری مشخص تأکید می‌کند؛ خروجی جلسه نیز باید مالک، دامنه و شرط پایان داشته باشد، نه عبارتی مانند «کیفیت اعداد بهتر شود».

برای اصلاح منتخب، نمونه‌های شکست ماه را به آزمون بازگشت تبدیل کنید: ورودی، مقدار مرجع و خروجی مورد انتظار را ثابت نگه دارید. سپس یک مجموعهٔ جداگانه از موارد درست و خطاهای مشابهِ قبلاً دیده‌نشده اضافه کنید. شرط پذیرش پیشنهادی این چرخه این است: همهٔ شکست‌های داخل دامنه اصلاح شوند و در مجموعهٔ کنترلِ تأییدشده، هیچ مقدار درست قبلی خراب نشود. تعداد نمونه‌های هر مجموعه را همراه نتیجه گزارش کنید؛ عبور از چند نمونهٔ تاریخی به‌تنهایی اثبات تعمیم‌پذیری نیست.

۴. چه زمانی این رتبه‌بندی تصمیم اشتباه می‌سازد؟

تعداد کارهای خراب، نرخ خطا نیست. اگر حجم صوت بسیار بیشتر از سند باشد، دو خطای صوت و یک خطای سند نشان نمی‌دهد صوت ضعیف‌تر است. برای مقایسهٔ کیفیت این دو مسیر، به نمونه‌گیری با روش یکسان و مخرج متناسب نیاز دارید؛ مثلاً تعداد فیلدهای عددی بررسی‌شده در هر مسیر. گزارش حاضر عمداً مسئلهٔ محدودتری را حل می‌کند: کدام خانواده در میان خطاهای تأییدشدهٔ این ماه بیشترین کار بحرانی را درگیر کرده است؟

مزیت شمارش کار مستقل نسبت به شمارش تیکت، کاهش اثر پیگیری‌های تکراری است؛ هزینه‌اش این است که مبلغ خسارت یا تفاوت شدت میان خطاهای بحرانی را مدل نمی‌کند. اگر یک خطای کم‌تکرار پیامد حقوقی سنگین دارد، یا رفع رتبهٔ اول نیازمند بازطراحی چندماهه است، انتخاب مکانیکی ردیف اول اشتباه است. رتبه را نقطهٔ شروع بررسی بدانید و هر جابه‌جایی اولویت را با دلیل صریح ثبت کنید. رخدادهای امنیتی و ایمنی نیز باید بیرون از این صف ماهانه رسیدگی شوند.

خروجی عملی چرخه برای سارا یک بستهٔ کوچک است: جدول بدون شمارش تکراری، نمونه‌های شاهد برای خانوادهٔ منتخب، توضیح محل ایجاد خطا، اصلاح با مالک مشخص و آزمون پذیرش. ماه بعد، علاوه بر بررسی تکرار همان شکست‌ها، کیفیت را روی نمونه‌ای تازه با روش بازبینی ثابت بسنجید. کاهش تیکت‌ها به‌تنهایی موفقیت اصلاح را ثابت نمی‌کند؛ ممکن است حجم استفاده یا رفتار گزارش‌دهی تغییر کرده باشد.

منابع

Python: csv — CSV File Reading and Writing
https://docs.python.org/3/library/csv.html
مستندات خواندن ورودی CSV در مثال.

Python: collections — Container datatypes
https://docs.python.org/3/library/collections.html
مرجع defaultdict برای گروه‌بندی کارهای مستقل.

Google SRE: Postmortem Culture: Learning from Failure
https://sre.google/sre-book/postmortem-culture/
مرجع یادگیری از شکست و تعریف اقدام‌های پیگیری مشخص.

No comments yet