یک مجموعهٔ کوچک برای ارزیابی OCR فارسی: ۶۰ خط، دو امتیاز و خطاهای قابل‌ردگیری

برای مقایسهٔ دو تنظیم OCR فارسی، از ۲۰ صفحهٔ فاکتور ۶۰ خط رونویسی‌شده بسازید. با جداسازی صفحه‌ها و گزارش خطای خام و نرمال‌شده، تفاوت واقعی مدل را از تفاوت نگارشی جدا کنید.

برای سارا، توسعه‌دهنده‌ای که می‌خواهد بین دو تنظیم OCR فاکتور فارسی انتخاب کند، یک شروع عملی این است: از ۲۰ صفحهٔ متفاوت، ۶۰ تصویر خط همراه با رونویسی دستی بسازد و نرخ خطای نویسه را هم خام و هم نرمال‌شده گزارش کند. خروجی مفید، یک عدد تنها نیست؛ باید بتوان هر تغییر امتیاز را به خط، تصویر و نوع خطا برگرداند.

۱. آزمون را به بازشناسی خط محدود کنید

در این آزمایش، ورودی هر موتور یک تصویر از یک خط است و خروجی، متن همان خط. بنابراین تشخیص ناحیه، ترتیب خواندن صفحه و بازسازی جدول را عمداً ثابت یا خارج از آزمون نگه می‌داریم. اگر سارا می‌خواهد کیفیت محصول نهاییِ استخراج مبلغ فاکتور را بسنجد، این آزمون کافی نیست؛ در آن حالت باید صحت فیلد مبلغ را روی خروجی کل زنجیره نیز اندازه بگیرد.

۲۰ صفحه را از جریان واقعی کار انتخاب کنید، نه از اسناد تمیزی که موتور قبلاً خوب خوانده است. برای نمونه‌گیری قابل‌تکرار، فهرست صفحه‌ها را با بذر تصادفی ثابت انتخاب کنید و پیش از دیدن خروجی OCR، از هر صفحه سه خط در ناحیه‌های بالایی، میانی و پایینی بردارید. خطوط کم‌کیفیت را حذف نکنید؛ تاری، کجی، پس‌زمینه و حضور رقم را به‌صورت برچسب ثبت کنید تا بعداً معلوم شود بهبود روی کدام وضعیت رخ داده است.

۱۰ صفحه را برای توسعه و ۱۰ صفحه را برای آزمون کنار بگذارید؛ در هر بخش ۳۰ خط خواهید داشت. صفحه‌های متعلق به یک فاکتور، نسخه‌های تکراری یک اسکن و برش‌های هم‌پوشان باید در یک بخش بمانند. تنظیمات را فقط با بخش توسعه انتخاب کنید و آزمون را پس از نهایی‌کردن انتخاب اجرا کنید. اگر هدف تعمیم به قالب‌های تازه است، جداسازی باید در سطح قالب یا صادرکننده انجام شود، نه فقط صفحه.

۲. حقیقت مبنا و قرارداد نرمال‌سازی را بنویسید

برای هر خط، شناسهٔ سند، شناسهٔ صفحه، مسیر تصویر، بخش توسعه یا آزمون، متن مرجع و برچسب‌های کیفیت را ذخیره کنید. متن مرجع را با نگاه به تصویر بنویسید، نه با اصلاح خروجی موتور مورد ارزیابی؛ سپس فرد دیگری آن را بازبینی کند. قرارداد پیشنهادی این است: ترتیب منطقی متن را نگه دارید، فاصله و نیم‌فاصله را مطابق قاعدهٔ مکتوب ثبت کنید، غلط چاپی سند را اصلاح نکنید و خطوط واقعاً ناخوانا را با دلیل جداگانه ثبت کنید. حذف آن‌ها دامنهٔ نتیجه را محدود می‌کند و باید در گزارش دیده شود.

دو امتیاز نگه دارید: CER خام روی متن ذخیره‌شده و CER پس از NFC و تبدیل «ي» به «ی» و «ك» به «ک». NFC به‌تنهایی این دو جفت حرف را یکی نمی‌کند؛ تبدیل آن‌ها تصمیم کاربردی ماست، نه خاصیت نرمال‌سازی یونیکد. در این قرارداد رقم‌ها، نشانه‌ها، فاصله‌ها و نیم‌فاصله‌ها حذف یا یکسان نمی‌شوند. این محافظه‌کاری کمک می‌کند تفاوت «۱۲۳» با «123» یا افتادن جداکنندهٔ مبلغ بی‌صدا پنهان نشود.

۳. محاسبهٔ قابل‌اجرا با دو خط نمونه

CER برابر مجموع درج، حذف و جایگزینی لازم برای تبدیل پیش‌بینی به مرجع، تقسیم بر تعداد نویسه‌های مرجع است. در اینجا نویسه یعنی کدپوینت پایتون، نه الزاماً یک حرف بصری. فاصله نیز شمرده می‌شود. برای امتیاز کل، مجموع فاصله‌های ویرایشی خط‌ها را بر مجموع طول مرجع‌ها تقسیم می‌کنیم؛ میانگین سادهٔ CER خط‌ها به خط کوتاه و بلند وزن یکسان می‌دهد و برای این تصمیم مناسب نیست. CER در خروجی‌های دارای درج فراوان می‌تواند از یک بیشتر شود.

کد زیر را با نام evaluate.py ذخیره کنید و با دستور python3 evaluate.py اجرا کنید؛ وابستگی بیرونی ندارد. ورودی داخل کد دو جفت متن است: در پیش‌بینی اول «ي» عربی و در دومی «ك» عربی آمده است. این دو خط فقط آزمون سلامت محاسبه‌اند، نه مجموعهٔ ارزیابی پیشنهادی. در استفادهٔ واقعی، همین جفت‌ها را از فایل مرجع و خروجی موتور با شناسهٔ خط تطبیق دهید؛ خروجی مفقود را رشتهٔ خالی حساب کنید، نه اینکه خط را کنار بگذارید.

```python
import unicodedata

# (reference, prediction); Arabic yeh and kaf are explicit.
pairs = [
("سلام دنیا", "سلام دن\u064aا"),
("کتاب", "\u0643تاب"),
]


def normalize(text):
return unicodedata.normalize("NFC", text).translate(
str.maketrans({"\u064a": "ی", "\u0643": "ک"})
)


def distance(a, b):
previous = list(range(len(b) + 1))
for i, ca in enumerate(a, 1):
current = [i]
for j, cb in enumerate(b, 1):
current.append(min(
previous[j] + 1,
current[j - 1] + 1,
previous[j - 1] + (ca != cb),
))
previous = current
return previous[-1]


def score(rows, transform):
edits = total = 0
for reference, prediction in rows:
reference = transform(reference)
prediction = transform(prediction)
if not reference:
raise ValueError("Empty reference: review this sample separately")
edits += distance(reference, prediction)
total += len(reference)
if total == 0:
raise ValueError("No reference characters")
return edits, total, edits / total


for name, transform in [("raw", lambda x: x), ("normalized", normalize)]:
edits, total, cer = score(pairs, transform)
print(f"{name}: edits={edits}, chars={total}, CER={cer:.4f}")
```

خروجی مورد انتظار دقیقاً دو سطر است: «raw: edits=2, chars=13, CER=0.1538» و سپس «normalized: edits=0, chars=13, CER=0.0000». صفرشدن امتیاز دوم فقط می‌گوید اختلاف این ورودی‌ها به قرارداد ی و ک محدود بوده است؛ ثابت نمی‌کند که موتور روی تصاویر واقعی بی‌خطاست. اگر خروجی متفاوت شد، پیش از اجرای مجموعهٔ اصلی، ذخیره‌سازی یونیکد و دادهٔ ورودی را بررسی کنید.

۴. نتیجه را به تصمیم تبدیل کنید، نه رتبه‌بندی عمومی

برای هر تنظیم، CER خام و نرمال‌شده، تعداد خط و نویسه، و خطاهای هر صفحه را ثبت کنید. سپس خطوطی را ببینید که فاصلهٔ ویرایشی آن‌ها بیشترین تغییر را کرده است. اگر بهبود فقط از تبدیل ی و ک آمده، تنظیم جدید الزاماً بازشناسی بصری بهتری ندارد. اگر چند خط طولانی عامل اصلی تفاوت‌اند، آن را صریح بنویسید. با تنها ۱۰ صفحهٔ آزمون، اختلاف کوچک را پیروزی قطعی ننامید؛ نمونه‌های تازه از همان جریان کار جمع کنید.

معاملهٔ اصلی این روش، هزینهٔ کم رونویسی در برابر پوشش محدود است. CER برای بازشناسی خط نقطهٔ شروع مناسبی است؛ WER به فاصله‌گذاری و تعریف واژه حساس‌تر است و صحت فیلد مبلغ مستقیماً ریسک مالی را نشان می‌دهد. اگر کاربرد، بایگانی وفادار به سند باشد، امتیاز نرمال‌شده نباید معیار اصلی انتخاب شود. اگر کاربرد، پرداخت خودکار باشد، حتی یک خطای رقم مهم ممکن است زیر CER کلی خوب پنهان بماند؛ آنجا آزمون فیلدمحور ضروری است. برای مجموعه‌های بزرگ‌تر می‌توان از ابزارهایی مانند JiWER استفاده کرد، اما قرارداد پیش‌پردازش و نحوهٔ تجمیع باید همچنان ثابت و مستند بماند.

منابع

Python documentation: unicodedata — مستندات تابع normalize و شکل‌های نرمال‌سازی در پایتون: https://docs.python.org/3/library/unicodedata.html

Unicode Standard Annex #15: Unicode Normalization Forms — تعریف رسمی نرمال‌سازی و تفاوت هم‌ارزی متعارف با سازگاری: https://www.unicode.org/reports/tr15/

JiWER: Word Error Rate and Character Error Rate evaluation — پیاده‌سازی و مستندات ابزار ارزیابی متن با فاصلهٔ ویرایشی: https://github.com/jitsi/jiwer

No comments yet