برای ارزیابی OCR فارسی، عددها و شناسهها را در دو گروه مستقل و با معیار «تطابق کامل فیلد» گزارش کنید؛ برای هر گروه هم نتیجه خام و هم نتیجه پس از یکسانسازی شکل رقمها را نگه دارید. سارا، توسعهدهنده سامانه استخراج اطلاعات از فاکتور، با اسکریپت این مقاله میتواند بفهمد خطای خروجی ناشی از تفاوت «۱۲۳» و «123» است یا واقعاً رقم یا ساختار فیلد اشتباه شده است.
واحد ارزیابی را فیلد بگیرید، نه کل متن
یک سند ممکن است متن زیادی داشته باشد، اما تصمیم عملیاتی فقط به مبلغ و شناسه سفارش وابسته باشد. میانگین خطای نویسه روی کل سند تضمین نمیکند این فیلدها درست باشند. در اینجا هر رکورد یک فیلد از پیش مشخصشده است: kind نوع فیلد، gt متن مرجع و pred خروجی OCR است. نوع فیلد را از تعریف فرم تعیین کنید، نه از ظاهر خروجی؛ «۰۰۷۲» اگر شماره سفارش باشد شناسه است، حتی اگر فقط رقم داشته باشد.
برای هر گروه، دقت تطابق کامل برابر است با تعداد فیلدهای کاملاً برابر تقسیم بر تعداد همه فیلدهای همان گروه. فیلد استخراجنشده را با pred خالی ثبت کنید و از مخرج حذف نکنید. این قرارداد به مرجع غیرخالی و اتصال درست خروجی به فیلد نیاز دارد؛ ارزیاب حاضر مسئله پیدا کردن محل فیلد یا تطبیق سطرهای جدول را حل نمیکند.
فقط شکل رقمها را یکسان کنید
در امتیاز خام، رشتهها بدون تغییر مقایسه میشوند. در امتیاز یکسانشده، رقمهای فارسی «۰۱۲۳۴۵۶۷۸۹» و عربی «٠١٢٣٤٥٦٧٨٩» به «0123456789» نگاشت میشوند. این سیاست عمداً محدود است: فاصله، خط تیره، ممیز و حروف حذف یا اصلاح نمیشوند. بنابراین «AB-۱۲» با «AB۱۲» برابر نیست، اما «۰۰۷۲» با «0072» برابر میشود.
شناسه را به int یا float تبدیل نکنید؛ این کار صفر ابتدایی را از بین میبرد و ممکن است خطای واقعی را پنهان کند. نرمالسازی عمومی Unicode هم جای قرارداد صریح شکل رقمها را نمیگیرد: فرمهای استاندارد نرمالسازی در UAX #15 تعریف شدهاند، اما سیاست این ارزیابی مشخصاً نگاشت دو مجموعه رقم است. مزیت این محدودیت، قابلممیزی بودن مقایسه است؛ هزینهاش این است که تفاوتهای ظاهری دیگری همچنان خطا محسوب میشوند.
مثال اجرایی: دو عدد و دو شناسه
کد زیر را در evaluate.py ذخیره کنید. فقط به کتابخانه استاندارد پایتون ۳ نیاز دارد. همه مقادیر مرجع و پیشبینی باید رشته JSON باشند؛ اگر شناسه را عدد ذخیره کنید، صفرهای ابتدایی ممکن است پیش از ارزیابی از دست بروند. کد ورودی خالی، نوع فیلد ناشناخته و مرجع خالی را رد میکند و فیلدهای ناموفق پس از یکسانسازی را با شناسه رکورد چاپ میکند.
```python
import json
import sys
DIGITS = str.maketrans(
'۰۱۲۳۴۵۶۷۸۹٠١٢٣٤٥٦٧٨٩',
'01234567890123456789'
)
def normalize(text):
return text.translate(DIGITS)
def evaluate(rows):
if not isinstance(rows, list) or not rows:
raise ValueError('Input must be a non-empty list')
stats = {
kind: {'n': 0, 'raw': 0, 'normalized': 0, 'failed': []}
for kind in ('number', 'identifier')
}
seen = set()
for row in rows:
if not isinstance(row, dict):
raise ValueError('Each row must be an object')
rid = row.get('id')
kind = row.get('kind')
gt, pred = row.get('gt'), row.get('pred')
if not isinstance(rid, str) or not rid or rid in seen:
raise ValueError('Each id must be a unique non-empty string')
if kind not in stats:
raise ValueError('kind must be number or identifier')
if not isinstance(gt, str) or not gt or not isinstance(pred, str):
raise ValueError('gt must be non-empty text; pred must be text')
seen.add(rid)
s = stats[kind]
s['n'] += 1
s['raw'] += int(gt == pred)
equal = normalize(gt) == normalize(pred)
s['normalized'] += int(equal)
if not equal:
s['failed'].append(rid)
for kind, s in stats.items():
n = s['n']
if n == 0:
print(f'{kind}: n=0; accuracy=NA')
continue
print(
f"{kind}: n={n}; "
f"raw={s['raw']}/{n} ({s['raw'] / n:.1%}); "
f"normalized={s['normalized']}/{n} ({s['normalized'] / n:.1%})"
)
print(' normalized_failures=' + ','.join(s['failed']))
if __name__ == '__main__':
with open(sys.argv[1], encoding='utf-8') as f:
evaluate(json.load(f))
```
در یک پوسته سازگار با Bash، فرمان زیر فایل ورودی را میسازد و ارزیابی را اجرا میکند. در n1 و i1 فقط شکل رقمها فرق دارد؛ در n2 رقم آخر اشتباه است و در i2 خط تیره حذف شده است.
```bash
cat > input.json <<'JSON'
[
{"id":"n1", "kind":"number", "gt":"۱۲۳۴", "pred":"1234"},
{"id":"n2", "kind":"number", "gt":"۵۶", "pred":"۵۸"},
{"id":"i1", "kind":"identifier", "gt":"۰۰۷۲", "pred":"0072"},
{"id":"i2", "kind":"identifier", "gt":"AB-۱۲", "pred":"AB۱۲"}
]
JSON
python3 evaluate.py input.json
```
خروجی مورد انتظار زیر است. افزایش دقت از صفر به ۵۰ درصد در هر گروه فقط اثر سیاست شکل رقمهاست؛ شاهدی بر بهبود موتور OCR نیست. شکستهای باقیمانده بهترتیب یک خطای رقم و یک خطای ساختار شناسهاند.
```other
number: n=2; raw=0/2 (0.0%); normalized=1/2 (50.0%)
normalized_failures=n2
identifier: n=2; raw=0/2 (0.0%); normalized=1/2 (50.0%)
normalized_failures=i2
```
نتیجه را کجا به کار ببریم و کجا نه؟
برای تصمیم پذیرش خودکار یک فیلد، تطابق کامل معیار سختگیرانه و قابلفهمی است؛ یک رقم غلط کافی است تا مبلغ یا شناسه قابلاعتماد نباشد. در مقابل، نرخ خطای نویسه برای تشخیص میزان خرابی متن مفیدتر است، ولی بهتنهایی موفقیت کامل فیلد را نشان نمیدهد. اگر گروه عددها بسیار بزرگتر باشد، میانگین مشترک میتواند عملکرد ضعیف شناسهها را پنهان کند؛ تعداد نمونه و دو امتیاز هر گروه را همیشه کنار هم منتشر کنید.
این روش برای برابری معنایی مقدارها انتخاب درستی نیست: «۱۲٫۰» و «12» در این قرارداد برابر نیستند، هرچند ممکن است یک مقدار را نمایش دهند. اگر هدف تسویه مالی است، به تجزیهگر عدد با قرارداد روشن ممیز، واحد پول و جداکنندهها نیاز دارید. برای شناسه نیز عبور از آزمون رقم کنترل، جای تطابق با مرجع را نمیگیرد. در ارزیابی واقعی، مجموعه ثابتی از اسناد نگه دارید، سیاست یکسانسازی را ثبت کنید و پس از دیدن خطاها آن را بیسروصدا تغییر ندهید.
منابع
Python documentation — str.translate and str.maketrans
https://docs.python.org/3/library/stdtypes.html#str.translate
Python documentation — json
https://docs.python.org/3/library/json.html
Unicode Standard Annex #15 — Unicode Normalization Forms
https://www.unicode.org/reports/tr15/




No comments yet