فاین‌تیون OCR فارسی برای گزارش‌های آزمایشگاهی؛ از برچسب سطر تا آزمون قفل‌شده

برای بهبود OCR گزارش‌های آزمایشگاهی، ابتدا سطرهای درست برچسب‌خورده و آزمون مستقل بسازید؛ سپس Tesseract فارسی را فاین‌تیون کنید. این راهنما مسیر آموزش و یک ارزیاب اجرایی برای خطای نویسه و عدد را نشان می‌دهد.

برای سارا، مهندس پردازش سند در یک آزمایشگاه، مسیر قابل دفاع این است: ابتدا خطای خواندن سطرهای چاپی را از خطای استخراج جدول جدا کند، سپس مدل فارسی Tesseract را روی سطرهای همان دامنه فاین‌تیون کند و نتیجه را روی گزارش‌های کنارگذاشته‌شده بسنجد. خروجی این کار یک مدل خواندن سطر است، نه سامانه آماده تصمیم‌گیری پزشکی. معیار پذیرش باید از ابتدا شامل خطای عددها باشد؛ کاهش خطای متن به‌تنهایی کافی نیست.

۱. ابتدا ثابت کنید مشکل واقعاً بازشناسی نویسه است

چند گزارش نماینده را بردارید و سطرهایشان را دستی برش بزنید. مدل آماده fas را یک‌بار روی صفحه کامل و یک‌بار روی همین سطرها اجرا کنید. اگر سطر بریده‌شده خوب خوانده می‌شود ولی صفحه کامل نه، احتمالاً مسئله اصلی قطعه‌بندی، جدول یا ترتیب خواندن است؛ فاین‌تیون تشخیص نویسه نقطه شروع مناسبی نیست. اگر در سطر تمیز هم نام آزمایش، نشانه اعشار یا شکل خاص حروف مرتباً اشتباه می‌شود، آموزش دامنه‌ای ارزش بررسی دارد.

مقایسه را منصفانه نگه دارید: مدل آماده و مدل جدید باید دقیقاً همان تصویر، پیش‌پردازش و حالت قطعه‌بندی را ببینند. برای تصویر یک سطر، حالت --psm 7 گزینه متناسبی برای خط پایه است. اگر اصلاح کجی یا برش درست مشکل را حل می‌کند، آن راه از آموزش کم‌هزینه‌تر است. اگر خود سطرها درست‌اند اما عدد به نام آزمایش اشتباه وصل می‌شود، باید استخراج ساختار را اصلاح کنید، نه مدل خواندن متن را.

۲. برچسب سطری و جداسازی داده را پیش از آموزش تثبیت کنید

واحد آموزشی را یک تصویر تک‌سطر و یک فایل متن هم‌نام انتخاب کنید؛ مثلاً lab_0001.png و lab_0001.gt.txt. فایل متن باید UTF-8 و رونویسی همان سطر باشد، نه بازنویسی درست‌تر آن. متن فارسی را با ترتیب منطقی یونیکد ذخیره کنید و برای شبیه‌کردن ظاهر راست‌به‌چپ، رشته را معکوس نکنید. جدول چندستونی را بی‌دلیل به یک سطر بلند تبدیل نکنید؛ ترتیب متنِ هدف باید روشن و تکرارپذیر باشد.

پیش از برچسب‌گذاری، سیاست ی/ي، ک/ك، فاصله، نیم‌فاصله، ارقام و جداکننده اعشار را مکتوب کنید. پیشنهاد این آزمایش، یکسان‌سازی ی و ک عربی با فارسی در ارزیابی است، اما حفظ ارقام و نشانه اعشار؛ زیرا تبدیل یا حذف بی‌صدای آن‌ها ممکن است خطای مهم را پنهان کند. بخش‌های واقعاً ناخوانا را حدس نزنید: از مجموعه اصلی کنار بگذارید و در مجموعه چالش ثبت کنید. سطرهای عدددار و واحدها را بازبینی دوم کنید و هر اصلاح برچسب را نسخه‌بندی کنید.

تقسیم آموزش، اعتبارسنجی و آزمون را در سطح گزارش یا بیمار انجام دهید، نه با قرعه‌کشی سطرها. وجود سطرهای یک گزارش در هر دو طرف، نتیجه را خوش‌بینانه می‌کند. اگر ادعای شما کارکرد روی قالب جدید است، یک قالب یا مرکز را کامل برای آزمون کنار بگذارید. فهرست شناسه‌ها را ذخیره و آزمون را قفل کنید؛ انتخاب تعداد تکرار، سیاست نرمال‌سازی و پیش‌پردازش فقط با آموزش و اعتبارسنجی انجام شود.

۳. فاین‌تیون Tesseract را کوچک و قابل بازتولید شروع کنید

برای این مسئله، ادامه آموزش مدل fas نسبت به آموزش از صفر انتخاب اولیه مناسب‌تری است: دامنه شما شکل و توزیع متن را تغییر داده، نه لزوماً الفبا را. برای ادامه آموزش از مدل مخزن tessdata_best استفاده کنید؛ مدل‌های کمّی‌شده tessdata_fast مناسب ادامه آموزش نیستند. Tesseract همراه ابزارهای آموزش، وابستگی‌های tesstrain و مدل fas باید نصب باشند. نسخه ابزارها، شناسه commit مخزن، تنظیمات و فهرست داده‌ها را ثبت کنید؛ دستور زیر به‌تنهایی نصب‌کننده محیط نیست.

```bash
# از ریشه مخزن tesstrain و پس از نصب وابستگی‌های README اجرا کنید.
# تصاویر و متن‌های آموزشیِ جفت‌شده را در این پوشه قرار دهید:
mkdir -p data/lab_fas-ground-truth
# نمونه مسیرها:
# data/lab_fas-ground-truth/lab_0001.png
# data/lab_fas-ground-truth/lab_0001.gt.txt
# /absolute/path/tessdata_best/fas.traineddata باید موجود باشد.
make training MODEL_NAME=lab_fas START_MODEL=fas TESSDATA=/absolute/path/tessdata_best MAX_ITERATIONS=1000
```

ورودی این دستور زوج‌های تصویر و متن در پوشه ground-truth و مدل آغازین fas است؛ خروجی مورد انتظار، مصنوعات آموزش در data/lab_fas و در اجرای موفق خط لوله، مدل lab_fas.traineddata است. جزئیات اهداف ساخت را با README همان نسخه tesstrain تطبیق دهید. عدد ۱۰۰۰ صرفاً سقف شروع آزمایش است، نه مقدار بهینه. فقط داده آموزشی را به این پوشه بدهید؛ تقسیم داخلی ابزار جای اعتبارسنجی و آزمون بیرونی شما را نمی‌گیرد.

مدل‌های کاندید را روی اعتبارسنجی بیرونی مقایسه کنید و قبل از بازکردن آزمون یکی را انتخاب کنید. معامله اصلی، سازگاری با قلم تخصصی در برابر افت روی سطرهای عمومی است؛ بنابراین اعتبارسنجی باید هم سطرهای دشوار و هم متن معمول گزارش را داشته باشد. اگر نشانه‌ای تازه خارج از مجموعه نویسه مدل لازم است، ادامه آموزش ساده ممکن است کافی نباشد؛ تغییر مجموعه نویسه و بازسازی اجزای زبان، مسیر جداگانه‌ای است و در این دستور پوشش داده نمی‌شود.

۴. مثال اجرایی: خطای نویسه را کنار خطای عدد گزارش کنید

کد زیر فقط با کتابخانه استاندارد Python اجرا می‌شود. CER برابر مجموع فاصله ویرایشی بر مجموع نویسه‌های مرجع است؛ میانگین ساده درصد خطای سطرها نیست. نرمال‌سازی محدود آن NFC و یکسان‌سازی ی و ک است و فاصله‌ها را جزو امتیاز نگه می‌دارد. ورودی نمونه عمداً یک خطای اعشار دارد تا نشان دهد متن نسبتاً درست هم می‌تواند عدد اشتباه داشته باشد. فایل را با نام evaluate.py ذخیره و با python3 evaluate.py اجرا کنید.

```python
import re
import unicodedata

# ورودی نمونه: در کار واقعی هر زوج باید متعلق به یک سطر آزمون باشد.
PAIRS = [
('قند ۱۲.۵', 'قند ۱۲۵'),
('کبد', 'كبد'),
]


def normalize(text):
return unicodedata.normalize('NFC', text).translate(
str.maketrans({'ي': 'ی', 'ك': 'ک'})
)


def distance(a, b):
row = list(range(len(b) + 1))
for i, ca in enumerate(a, 1):
new = [i]
for j, cb in enumerate(b, 1):
new.append(min(new[-1] + 1, row[j] + 1,
row[j - 1] + (ca != cb)))
row = new
return row[-1]


number_pattern = re.compile(r'[+\-−]?[0-9۰-۹٠-٩]+(?:[.٫][0-9۰-۹٠-٩]+)*')
errors = characters = numeric_lines = numeric_mismatches = 0
for reference, prediction in PAIRS:
reference, prediction = normalize(reference), normalize(prediction)
if not reference:
raise ValueError('Empty reference: review the annotation')
errors += distance(reference, prediction)
characters += len(reference)
ref_numbers = number_pattern.findall(reference)
pred_numbers = number_pattern.findall(prediction)
if ref_numbers or pred_numbers:
numeric_lines += 1
numeric_mismatches += (ref_numbers != pred_numbers)

print(f'CER: {errors}/{characters} = {errors / characters:.2%}')
print(f'Numeric-line mismatches: {numeric_mismatches}/{numeric_lines}')
```

خروجی مورد انتظار دقیقاً دو سطر است: «CER: 1/11 = 9.09%» و «Numeric-line mismatches: 1/1». تفاوت ك و ک طبق سیاست ارزیابی حذف شده، اما افتادن نقطه اعشار خطا محسوب می‌شود. برای آزمون واقعی، PAIRS را با متن مرجع و خروجی OCR هم‌تراز بر اساس شناسه سطر جایگزین کنید؛ سطر بدون خروجی را با رشته خالی پیش‌بینی ثبت کنید، نه اینکه آن را از ارزیابی حذف کنید.

۵. آزمون نهایی و مرز استفاده

در آزمون قفل‌شده، مدل آماده و مدل منتخب را روی سطرهای یکسان اجرا کنید و برای هر دو مجموع خطا، تعداد نویسه مرجع و تعداد سطرهای دارای عدم تطابق عدد را گزارش دهید. نتیجه را به تفکیک قالب یا مرکز هم ببینید تا میانگین کل افت یک گروه را نپوشاند. شرط پذیرش را پیشاپیش تعیین کنید؛ مثلاً بهبود CER همراه با عدم افزایش سطرهای دارای خطای عدد. اگر آزمون شکست خورد و مدل را اصلاح کردید، آن مجموعه دیگر آزمون دست‌نخورده نیست و برای ادعای نهایی به مجموعه تازه نیاز دارید.

این ارزیاب اعتبارسنج پزشکی نیست: «۵» و «5» را متفاوت می‌گیرد و همه قراردادهای عددی، کسرها یا نمایش علمی را تحلیل نمی‌کند. ممکن است همه اعداد درست خوانده شوند اما به فیلد اشتباه متصل شوند. برای ورود به فرایند واقعی، یک آزمون صفحه‌به‌صفحه جداگانه برای نام آزمایش، مقدار، واحد و اتصال آن‌ها لازم است. این مسیر برای دست‌خط، جدول‌بندی خراب یا ثبت خودکار نتیجه بدون کنترل انسانی راه‌حل کافی و در کاربرد پرخطر انتخاب درستی نیست.

منابع

Tesseract tesstrain: ابزارها و دستورهای آموزش
https://github.com/tesseract-ocr/tesstrain

Tesseract: راهنمای فاین‌تیون و آموزش LSTM
https://tesseract-ocr.github.io/tessdoc/tess5/TrainingTesseract-5.html

tessdata_best: مدل‌های آموزش‌دیده Tesseract
https://github.com/tesseract-ocr/tessdata_best

Tesseract: بهبود کیفیت ورودی و انتخاب حالت قطعه‌بندی
https://tesseract-ocr.github.io/tessdoc/ImproveQuality.html

Python: نرمال‌سازی یونیکد با unicodedata
https://docs.python.org/3/library/unicodedata.html#unicodedata.normalize

No comments yet