نتیجه عملی: سه لایه را جداگانه اندازه بگیرید
اگر شما مسئول انتخاب OCR برای اسناد فارسی هستید، بهترین روش این است که یک مجموعه آزمون واقعی بسازید و نتیجه را در سه لایه گزارش کنید: دقت نویسه و واژه، صحت ساختار جدول، و حفظ چیدمان صفحه. یک امتیاز کلی مانند «۹۵ درصد دقت» بدون این تفکیک، برای تصمیم تولیدی قابل اتکا نیست.
در لایه اول، متن مرجع را خودتان تصحیح و قفل کنید؛ سپس خروجی OCR را با همان متن مقایسه کنید. برای خطاهای کوچک از CER استفاده کنید: فاصله ویرایشی بین دو رشته تقسیم بر تعداد نویسههای متن مرجع. برای خطاهای واژهای از WER استفاده کنید: فاصله ویرایشی بین فهرست واژهها تقسیم بر تعداد واژههای مرجع.
CER و WER را با نرمالسازی کنترلشده بسنجید
در فارسی، شکلهای عربی و فارسی ی و ک، نیمفاصله، کشیده و اعراب میتوانند امتیاز را بدون تغییر معنای مورد نظر عوض کنند. بنابراین پیش از محاسبه، یک نرمالساز شفاف تعریف کنید. در نمونه زیر ی و ک عربی به شکل فارسی تبدیل میشوند، کشیده و نشانههای جهت متن حذف میشوند و فاصلهها یکدست میشوند.
این نرمالسازی را نباید بیقیدوشرط روی همه کاربردها اعمال کرد. اگر شماره ملی، کد کالا یا مقدار مالی برای شما مهم است، ارقام، نشانهها و حتی فاصلههای خاص را بخشی از داده قابل ارزیابی بدانید. معیار مناسب را بر اساس هزینه خطا انتخاب کنید، نه بر اساس عددی که زیباتر به نظر میرسد.
```python
import re
def normalize(text):
text = text.replace("ي", "ی").replace("ى", "ی")
text = text.replace("ك", "ک").replace("ـ", "")
text = re.sub(r"[\u064B-\u065F\u0670\u200c\u200e\u200f\u202a-\u202e]", "", text)
text = re.sub(r"\s+", " ", text).strip()
return text
def distance(a, b):
previous = list(range(len(b) + 1))
for i, char_a in enumerate(a, 1):
current = [i]
for j, char_b in enumerate(b, 1):
insert = current[j - 1] + 1
delete = previous[j] + 1
replace = previous[j - 1] + (char_a != char_b)
current.append(min(insert, delete, replace))
previous = current
return previous[-1]
def cer(reference, hypothesis):
ref = normalize(reference).replace(" ", "")
hyp = normalize(hypothesis).replace(" ", "")
return distance(ref, hyp) / max(len(ref), 1)
def wer(reference, hypothesis):
ref = normalize(reference).split()
hyp = normalize(hypothesis).split()
return distance(ref, hyp) / max(len(ref), 1)
reference = "جدول فروش فروردین: ۱۲۵۰"
hypothesis = "جدول فروش فروردین: ۱۲۵۸"
print(f"CER={cer(reference, hypothesis):.3f}")
print(f"WER={wer(reference, hypothesis):.3f}")
# Run: python evaluate_ocr.py
# Expected output:
# CER=0.050
# WER=0.250
```
در مثال اجرا، فقط رقم آخر اشتباه است. چون متن پس از حذف فاصله ۲۰ نویسه دارد، CER برابر ۰٫۰۵۰ میشود؛ اما همان خطا یک واژه از چهار واژه را عوض کرده و WER برابر ۰٫۲۵۰ است. این تفاوت به شما میگوید یک خطای کوچک نویسهای ممکن است از نظر کسبوکار خطای کامل یک فیلد باشد.
جدول را با متن خطی ارزیابی نکنید
برای جدول، پیش از اجرای OCR یک حقیقت مرجع ساختاری بسازید: تعداد ردیف و ستون، مختصات یا محدوده هر سلول، متن هر سلول و نوع داده آن. سپس چهار معیار جدا گزارش کنید: نرخ تشخیص درست سلول، CER درون سلول، صحت نگاشت متن به ردیف و ستون، و نرخ حفظ ترتیب خواندن.
برای نمونه، اگر OCR عدد ۱۲۵۰ را درست بخواند اما آن را در ستون «اسفند» قرار دهد، CER صفر است ولی نتیجه عملی غلط است. یک معیار ساده برای شروع این است که هر سلول فقط وقتی درست شمرده شود که هم مختصات آن با سلول مرجع همخوان باشد و هم متن آن پس از نرمالسازی از آستانه CER تعیینشده عبور کند. اگر خروجی سامانه فقط متن خطی است، ابتدا باید مشخص کنید آیا اصلاً اطلاعات سلولی را حفظ کرده است یا نه.
چیدمان صفحه و راستبهچپ را جداگانه بررسی کنید
در صفحه چندستونه، دو متن با CER یکسان میتوانند کاربردهای کاملاً متفاوتی داشته باشند. اگر ترتیب خواندن از ستون راست به ستون چپ یا از سربرگ به بدنه نادرست باشد، متن برای جستوجو و آرشیو گمراهکننده میشود. برای هر صفحه، بلوکهای مرجع را شمارهگذاری کنید و ترتیب خروجی OCR را با آن فهرست مقایسه کنید.




No comments yet