برای سارا، مهندس ارزیابی یک سامانهٔ گفتاربهمتن فارسی، پیشنهاد عملی این است: کنار WER کل، نرخ خطای واژههای مرجع را برای سه گروه «نام»، «عدد» و «انگلیسی» جدا گزارش کن. اسکریپت این مقاله روی یک نمونهٔ ساختگی نشان میدهد که WER برابر ۴۲٫۸۶ درصد میتواند همزمان با خطای ۱۰۰ درصدی هر سه گروه مهم همراه باشد. خروجی، یک گزارش قابلتکرار است؛ نه فقط قضاوتی کلی دربارهٔ روان بودن متن.
مسئله: جمله خواناست، اما اطلاعات اصلی اشتباه است
مرجع را «سارا نسخه ۲۴ Docker را نصب کرد» و خروجی سامانه را «ساره نسخه ۲۵ داکر را نصب کرد» بگیر. چهار واژه درستاند، اما نام شخص، شمارهٔ نسخه و شکل نوشتاری واژهٔ انگلیسی تغییر کردهاند. اگر کاربرد تو ثبت دقیق درخواست پشتیبانی باشد، همین سه بخش ممکن است تعیینکننده باشند. میانگین خطای همهٔ واژهها، اهمیت این تفاوت را جدا نشان نمیدهد.
WER از رابطهٔ (S + D + I) / N به دست میآید: جایگزینی، حذف و درج، تقسیم بر تعداد واژههای مرجع. برای گزارش گروهی این مقاله، فقط جایگزینی و حذفِ واژههای مرجعِ برچسبخورده را میشماریم: خطای گروه برابر است با تعداد واژههای اشتباه یا حذفشدهٔ آن گروه، تقسیم بر تعداد واژههای مرجع همان گروه. این عدد را «نرخ خطای واژههای مرجع گروه» مینامیم، نه WER مستقل آن گروه؛ زیرا درجها در صورت آن نیستند.
قرارداد ارزیابی را پیش از اجرای مدل ثابت کن
برچسب را به مرجع بده، نه به خروجی مدل. در مثال ما «سارا» برچسب name، «۲۴» برچسب number و «Docker» برچسب english دارد؛ بقیه other هستند. اگر برچسبها را از خود خروجی استخراج کنی، تبدیل «Docker» به «داکر» ممکن است واژه را از گروه انگلیسی بیرون بیندازد و دقیقاً خطایی را پنهان کند که میخواستی اندازه بگیری. نامهای چندواژهای را در این نسخه، واژهبهواژه برچسب بزن؛ امتیاز حاصل، صحت کل نام نیست.
نرمالسازی این نمونه عمداً محدود است: NFC یونیکد، یکسانسازی «ي/ی» و «ك/ک»، تبدیل رقمهای فارسی و عربی به لاتین، کوچککردن حروف لاتین و تبدیل نیمفاصله به فاصله. علائم نگارشی حذف نمیشوند و آوانویسی انگلیسی هم معادلسازی نمیشود. پس «۲۴» و «24» برابرند، اما «۲۴» و «بیستوچهار» نه. NFC بهتنهایی این قراردادهای فارسی یا تبدیل رقم را اجرا نمیکند؛ آنها قواعد جداگانهٔ اسکریپتاند.
مرزبندی واژه نیز بخشی از قرارداد است. چون این کد نیمفاصله را به فاصله تبدیل میکند، هر عضو مرجع باید پس از نرمالسازی دقیقاً یک توکن باشد؛ در غیر این صورت برنامه خطا میدهد تا برچسبی بیصدا به چند واژه سرایت نکند. برای دادهٔ واقعی، ابتدا همین نرمالساز را روی متن مرجع اجرا کن و سپس توکنهای حاصل را برچسب بزن. اگر تفاوت نیمفاصله برای محصولت مهم است، این قرارداد را تغییر بده و همهٔ سامانهها را دوباره با همان قرارداد بسنج.
نمونهٔ اجرایی: همترازی و شمارش خطا با پایتون
کد زیر را در فایل eval_groups.py ذخیره کن. فقط به کتابخانهٔ استاندارد Python 3 نیاز دارد. ورودی JSON شامل فهرستی از جفتهای «واژه، گروه» برای مرجع و یک رشته برای خروجی سامانه است. برنامه با فاصلهٔ ویرایشی واژهای، دو متن را همتراز میکند؛ در تساوی هزینه، حرکت قطری را بر حذف و سپس درج ترجیح میدهد. این سیاست قطعی است، اما ادعا نمیکنیم تنها همترازی معتبر است.
```python
import json
import sys
import unicodedata
GROUPS = ('name', 'number', 'english', 'other')
DIGITS = str.maketrans(
'۰۱۲۳۴۵۶۷۸۹٠١٢٣٤٥٦٧٨٩',
'01234567890123456789'
)
def tokenize(text):
text = unicodedata.normalize('NFC', text)
text = text.replace('ي', 'ی').replace('ك', 'ک')
text = text.replace('\u200c', ' ').translate(DIGITS).lower()
return text.split()
def evaluate(data):
ref, labels = [], []
for text, group in data['reference']:
tokens = tokenize(text)
if group not in GROUPS or len(tokens) != 1:
raise ValueError('Each reference item needs one normalized token and a valid group')
ref.append(tokens[0])
labels.append(group)
if not ref:
raise ValueError('Reference must not be empty')
hyp = tokenize(data['hypothesis'])
n, m = len(ref), len(hyp)
dp = [[0] * (m + 1) for _ in range(n + 1)]
for i in range(n + 1):
dp[i][0] = i
for j in range(m + 1):
dp[0][j] = j
for i in range(1, n + 1):
for j in range(1, m + 1):
dp[i][j] = min(
dp[i - 1][j - 1] + (ref[i - 1] != hyp[j - 1]),
dp[i - 1][j] + 1,
dp[i][j - 1] + 1
)
errors = {group: 0 for group in GROUPS}
substitutions = deletions = insertions = 0
i, j = n, m
while i or j:
if i and j and dp[i][j] == dp[i - 1][j - 1] + (ref[i - 1] != hyp[j - 1]):
if ref[i - 1] != hyp[j - 1]:
substitutions += 1
errors[labels[i - 1]] += 1
i -= 1
j -= 1
elif i and dp[i][j] == dp[i - 1][j] + 1:
deletions += 1
errors[labels[i - 1]] += 1
i -= 1
else:
insertions += 1
j -= 1
groups = {}
for group in GROUPS:
total = labels.count(group)
groups[group] = {
'reference_tokens': total,
'wrong_or_deleted': errors[group],
'error_percent': round(100 * errors[group] / total, 2) if total else None
}
return {
'reference_tokens': n,
'substitutions': substitutions,
'deletions': deletions,
'insertions': insertions,
'wer_percent': round(100 * (substitutions + deletions + insertions) / n, 2),
'groups': groups
}
if __name__ == '__main__':
result = evaluate(json.load(sys.stdin))
print(json.dumps(result, ensure_ascii=False, indent=2))
```
فرمان زیر هم ورودی آزمایش را میسازد و هم برنامه را اجرا میکند. این یک آزمون ساختگی برای بررسی رفتار معیار است، نه نتیجهٔ آزمایش روی یک مدل واقعی.
```bash
cat <<'JSON' | python3 eval_groups.py
{
"reference": [
["سارا", "name"],
["نسخه", "other"],
["۲۴", "number"],
["Docker", "english"],
["را", "other"],
["نصب", "other"],
["کرد", "other"]
],
"hypothesis": "ساره نسخه ۲۵ داکر را نصب کرد"
}
JSON
```
خروجی مورد انتظار سه جایگزینی در هفت واژه است. مقدار null برای درصد خطای گروهِ بدون نمونه در نظر گرفته شده است؛ نبود نمونه نباید با خطای صفر اشتباه شود.
```other
{
"reference_tokens": 7,
"substitutions": 3,
"deletions": 0,
"insertions": 0,
"wer_percent": 42.86,
"groups": {
"name": {
"reference_tokens": 1,
"wrong_or_deleted": 1,
"error_percent": 100.0
},
"number": {
"reference_tokens": 1,
"wrong_or_deleted": 1,
"error_percent": 100.0
},
"english": {
"reference_tokens": 1,
"wrong_or_deleted": 1,
"error_percent": 100.0
},
"other": {
"reference_tokens": 4,
"wrong_or_deleted": 0,
"error_percent": 0.0
}
}
}
```
از گزارش چه تصمیمی بگیریم و کجا به آن اعتماد نکنیم؟
برای مقایسهٔ دو نسخهٔ مدل، فایلهای مرجع، برچسبها و قرارداد نرمالسازی را ثابت نگه دار. در مجموعهٔ چندجملهای، ابتدا تعداد خطاها و تعداد واژههای مرجع هر گروه را جمع کن و سپس نسبت بگیر؛ میانگین سادهٔ درصد جملهها، به یک جملهٔ تکنامی همان وزن جملهای با ده نام میدهد. کنار هر درصد، مخرج را هم نمایش بده. نتیجهٔ یک نام در این مثال فقط صحت اجرای کد را نشان میدهد و شواهدی دربارهٔ کیفیت عمومی یک مدل نیست.
مهمترین نقطهٔ شکست، درج است. اگر سامانه یک عدد اضافی به جمله بیفزاید، WER افزایش مییابد، اما ممکن است نرخ خطای number همچنان صفر بماند؛ چون تمام عددهای مرجع درست ماندهاند. پس این گزارش را برای سنجش «حفظ واژههای حساس مرجع» به کار ببر، نه اثبات نبود اطلاعات ساختگی. اگر عدد یا نام اضافه ریسک اصلی محصول توست، باید خروجی را نیز برچسب بزنی و استخراج موجودیت را با دقت و بازیابی ارزیابی کنی.
همترازی نیز میتواند مبهم باشد: وقتی یک واژه چند بار تکرار شده یا چند مسیر هزینهٔ یکسان دارند، خطا ممکن است به واژهای با برچسب متفاوت نسبت داده شود. این اسکریپت برای شروع قابلبازبینی است، اما ماتریس آن زمان و حافظهٔ متناسب با حاصلضرب طول دو متن مصرف میکند؛ ورودی را در سطح جمله یا قطعهٔ گفتار نگه دار. برای ارزیابی عملیاتی بزرگ، ابزارهایی مانند SCTK یا JiWER مناسبترند، ولی سیاست نرمالسازی و شیوهٔ نگاشت برچسبها همچنان باید صریح بماند.
انتخاب معیار به خروجی موردنیاز بستگی دارد. اگر باید املای «Docker» عیناً ثبت شود، تفاوت «داکر» خطاست و همین روش مفید است. اگر هدف فهم محتواست و هر دو شکل پذیرفتهاند، مقایسهٔ نوشتاری بیشازحد سختگیرانه است؛ به فهرست معادلهای تأییدشده یا ارزیابی معنایی جدا نیاز داری. برای نام چندواژهای که فقط در صورت صحت همهٔ اجزا قابلاستفاده است، صحت کامل موجودیت را بسنج. برای خلاصهسازی یا بازنویسی آزاد نیز این همترازی واژهای معیار درستی نیست.
منابع
NIST SCTK؛ ابزارهای امتیازدهی و همترازی خروجی تشخیص گفتار — https://github.com/usnistgov/SCTK
JiWER؛ معیارهای خطای واژه و تبدیلهای پیش از ارزیابی — https://github.com/jitsi/jiwer
Unicode Standard Annex #15: Unicode Normalization Forms — https://www.unicode.org/reports/tr15/




No comments yet