پیش‌پردازش اسکن فارسی: چه وقت آستانه‌گذاری تطبیقی به OCR کمک می‌کند؟

برای اسکن فارسی با سایه یا روشنایی ناهمگون، یک تصویر دودویی تطبیقی بسازید؛ اما آن را فقط وقتی جایگزین ورودی اصلی کنید که نقطه‌ها و نیم‌فاصله‌ها در خروجی OCR کمتر آسیب ببینند. این راهنما یک آزمایش قابل‌تکرار با OpenCV و Tesseract می‌سازد.

اگر اسکن فارسی شما کنار عطف کتاب تاریک و در وسط صفحه روشن است، آستانه‌گذاری تطبیقی ارزش آزمایش دارد؛ اما خروجی آن را خودکار بهتر فرض نکنید. برای سارا، توسعه‌دهنده آرشیو اسناد فارسی، نتیجه عملی این راهنما ساخت سه ورودی قابل‌مقایسه و انتخاب نسخه‌ای است که در یک نمونه رونویسی‌شده، خطای کمتری دارد؛ نه نسخه‌ای که صرفاً تمیزتر دیده می‌شود.

مسئله دقیق: متن خواناست، ولی زمینه یکنواخت نیست

در این آزمایش یک صفحه متن چاپی، تقریباً صاف و بدون عکس را بررسی می‌کنیم. اگر چشم شما حروف را می‌خواند ولی یک طرف کاغذ خاکستری‌تر است، مسئله احتمالاً جداسازی متن از زمینه است. اگر خود حروف تارند یا سطرها منحنی‌اند، این آزمایش درمان آن مسئله نیست؛ ابتدا باید کیفیت تصویربرداری یا هندسه صفحه اصلاح شود.

Tesseract خودش پیش‌پردازش و دودویی‌سازی انجام می‌دهد؛ بنابراین نسخه اصلی باید خط مبنا بماند. مستندات بهبود کیفیت Tesseract نیز روشنایی ناهمگون را از موارد مشکل‌ساز برای دودویی‌سازی می‌داند. هدف ما اضافه‌کردن فیلتر به هر اسکن نیست: فقط می‌خواهیم ببینیم تصمیم محلی درباره سیاه یا سفید بودن پیکسل، زیر سایه بهتر از تصمیم سراسری عمل می‌کند یا نه.

سه ورودی بسازید، بدون دست‌کاری شکل حروف

کد زیر از scan.png یک نسخه خاکستری، یک نسخه دودویی با روش Otsu و یک نسخه دودویی تطبیقی گاوسی می‌سازد. Otsu یک آستانه برای کل تصویر انتخاب می‌کند؛ روش تطبیقی آستانه را از همسایگی هر پیکسل می‌گیرد. این مقایسه فقط یک تصمیم مهم را روشن می‌کند: آیا ناهمگونی زمینه آن‌قدر مؤثر است که به تصمیم محلی نیاز داشته باشیم؟ نسخه اصلی نیز جداگانه وارد OCR خواهد شد.

در روش تطبیقی، blockSize=51 یعنی همسایگی ۵۱ در ۵۱ پیکسل و C=15 مقداری است که از میانگین وزن‌دار محلی کم می‌شود. این اعداد واحد پیکسلی دارند و مستقل از وضوح اسکن نیستند. پنجره خیلی کوچک ممکن است داخل حروف را زمینه حساب کند؛ پنجره خیلی بزرگ ممکن است تغییرات سایه را دنبال نکند. افزایش C معمولاً پیکسل‌های کمتری را سیاه می‌کند، پس می‌تواند لکه را کم کند ولی نقطه کم‌رنگ را هم از بین ببرد.

```python
from pathlib import Path
import argparse
import cv2
import numpy as np

parser = argparse.ArgumentParser()
parser.add_argument('input', type=Path)
parser.add_argument('--out', type=Path, default=Path('prepared'))
args = parser.parse_args()

# imdecode also handles paths containing Persian characters.
gray = cv2.imdecode(np.frombuffer(args.input.read_bytes(), dtype=np.uint8), cv2.IMREAD_GRAYSCALE)
if gray is None:
raise SystemExit('Cannot decode input image')
if min(gray.shape) < 51:
raise SystemExit('Input must be at least 51 pixels wide and high')

_, otsu = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)
adaptive = cv2.adaptiveThreshold(
gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C,
cv2.THRESH_BINARY, 51, 15
)
args.out.mkdir(parents=True, exist_ok=True)
for name, image in [('gray.png', gray), ('otsu.png', otsu), ('adaptive.png', adaptive)]:
ok, encoded = cv2.imencode('.png', image)
if not ok:
raise SystemExit(f'Cannot encode {name}')
path = args.out / name
path.write_bytes(encoded.tobytes())
print(path.as_posix())
```

کد را در prepare.py ذخیره کنید و یک اسکن واقعی را با نام scan.png کنار آن بگذارید. فرمان زیر وابستگی‌های پایتون را نصب و برنامه را اجرا می‌کند. خروجی مورد انتظار اجرای موفق، سه خط prepared/gray.png، prepared/otsu.png و prepared/adaptive.png است؛ هر سه فایل باید ابعاد پیکسلی ورودی را حفظ کنند. محتوای متن OCR از پیش قابل‌تضمین نیست و به همین دلیل باید اندازه‌گیری شود.

```bash
python -m pip install opencv-python numpy
python prepare.py scan.png --out prepared

# Expected stdout from prepare.py:
# prepared/gray.png
# prepared/otsu.png
# prepared/adaptive.png

# Requires Tesseract and installed Persian language data.
tesseract --list-langs
mkdir -p results
tesseract scan.png results/original -l fas --psm 6
tesseract prepared/gray.png results/gray -l fas --psm 6
tesseract prepared/otsu.png results/otsu -l fas --psm 6
tesseract prepared/adaptive.png results/adaptive -l fas --psm 6
```

اثر واقعی را روی نقطه‌ها و متن خروجی بسنجید

پیش از اجرای فرمان‌های OCR مطمئن شوید fas در خروجی tesseract --list-langs هست. گزینه --psm 6 فرض می‌کند تصویر یک بلوک متن یکنواخت است؛ این فرض برای نمونه تک‌ستونی ما مناسب است، نه صفحه روزنامه چندستونی. چهار فایل متنی در پوشه results ساخته می‌شود. نسخه موتور، داده زبان و حالت صفحه‌بندی را در هر چهار اجرا ثابت نگه دارید تا تغییر خروجی را با اثر تنظیمات دیگر اشتباه نگیرید.

از ناحیه روشن و ناحیه سایه‌دار صفحه، در مجموع ۱۰ سطر را قبل از دیدن نتایج انتخاب و دقیق رونویسی کنید. در هر خروجی، تعداد جایگزینی، حذف و درج نویسه لازم برای رسیدن به مرجع را بشمارید؛ مجموع آن‌ها تقسیم بر تعداد نویسه‌های مرجع، نرخ خطای نویسه یا CER است. برای این آزمایش کوچک می‌توانید این شمارش را دستی انجام دهید. سیاست فاصله، نیم‌فاصله و شکل «ی/ي» و «ک/ك» را از ابتدا مشخص و برای همه خروجی‌ها یکسان اعمال کنید؛ حذف فاصله‌ها از ارزیابی، خطای واقعی فاصله‌گذاری را پنهان می‌کند.

هم‌زمان تصویرها را در بزرگ‌نمایی ثابت کنار هم ببینید: آیا نقطه‌های «ب»، «پ» و «ت» حفظ شده‌اند؟ آیا فضای میان دو کلمه یا اجزای حروف پر شده است؟ اگر adaptive فقط بخش سایه‌دار را بهتر و بخش روشن را بدتر می‌کند، یک تنظیم سراسری برای این صفحه کافی نیست. اگر اختلاف خطا در چند نویسه خلاصه می‌شود، روی صفحه دیگری هم آزمایش کنید؛ از ده سطر نمی‌توان برای کل آرشیو حکم قطعی داد.

کجا این روش را کنار بگذاریم؟

بهای دودویی‌سازی، حذف اطلاعات خاکستری است: لکه زمینه ممکن است کم شود، اما یک نقطه کم‌رنگ نیز برای همیشه از نسخه پردازش‌شده حذف می‌شود. به همین دلیل این مثال عمداً حذف نویز شدید، فرسایش یا بستن مورفولوژیک ندارد؛ این عملیات می‌توانند اجزای ریز را حذف یا فاصله‌ها را متصل کنند. فایل اصلی را نگه دارید و تنها وقتی نسخه تطبیقی را انتخاب کنید که خطای متن کاهش یافته و اجزای ظریف حروف حفظ شده باشند.

برای اسکن تمیز و زمینه یکنواخت، ورودی اصلی یا خاکستری انتخاب کم‌ریسک‌تری برای شروع است؛ Otsu گزینه ساده قابل‌آزمایش است. برای سایه متغیر، روش تطبیقی ارزش هزینه تنظیم پارامتر را دارد. اما برای صفحه عکس‌دار، دست‌خط، متن تار یا کجی و انحنای شدید، این راه‌حل را به‌جای اصلاح مسئله اصلی به کار نبرید. همچنین اگر مشکل فقط ترتیب ستون‌هاست، تغییر آستانه پاسخ مناسبی نیست؛ باید سراغ بخش‌بندی صفحه بروید.

منابع

Tesseract: Improving the quality of the output
https://tesseract-ocr.github.io/tessdoc/ImproveQuality.html

OpenCV: Image Thresholding
https://docs.opencv.org/4.x/d7/d4d/tutorial_py_thresholding.html

Tesseract: Command Line Usage
https://tesseract-ocr.github.io/tessdoc/Command-Line-Usage.html

Tesseract tessdata: Persian language data
https://github.com/tesseract-ocr/tessdata/blob/main/fas.traineddata

No comments yet