جدول فارسی در OCR: وقتی متن درست است اما مبلغ به ردیف اشتباه می‌رود

برای ورود جدول هزینه‌های اسکن‌شده به CSV، متن OCR به‌تنهایی کافی نیست؛ باید جای خالی سلول و موقعیت کلمات را هم نگه دارید. این مثال نشان می‌دهد چگونه با مختصات خروجی TSV تسرکت، یک مبلغ خالی را بدون جابه‌جایی ستون‌ها حفظ کنیم.

اگر قرار است جدول هزینه فارسی را به CSV تبدیل کنید، به‌محض اینکه یک خانه خالی بتواند معنای اعداد بعدی را عوض کند، متن تخت OCR دیگر کافی نیست. برای سارا، توسعه‌دهنده سامانه ورود هزینه، راه‌حل عملی این است: مختصات کلمات را نگه دارد، آن‌ها را به ستون‌های مشخص نسبت دهد و خانه خالی را واقعاً خالی صادر کند. خروجی این مقاله یک نمونه قابل اجراست که نبودِ مبلغ را حفظ می‌کند، نه اینکه شماره ردیف را جای مبلغ بنشاند.

مسئله دقیق: خواندن متن با بازسازی جدول یکی نیست

فرض کنید جدول از راست به چپ سه ستون «ردیف»، «شرح» و «مبلغ» دارد. ردیف اول شامل «۱، کاغذ، ۱۲۰٬۰۰۰» است و ردیف دوم «۲، پوشه» دارد، اما مبلغ آن خالی است. OCR ممکن است همه کلمات موجود را درست بخواند؛ بااین‌حال، فهرست کلمات نمی‌گوید کدام خانه وجود داشته و خالی مانده است. جداکردن متن با فاصله نیز مرز سلول را بازنمی‌گرداند، چون خود شرح می‌تواند چند کلمه داشته باشد.

معیار تصمیم، میزان حساسیت کار به رابطه ردیف و ستون است. برای جست‌وجوی واژه «کاغذ»، متن تخت کافی است؛ برای جمع مبالغ یا اتصال هر مبلغ به شرح آن، کافی نیست. آزمون پذیرش سارا باید شامل یک ردیف با مبلغ خالی باشد: اگر سامانه نتواند همان خانه را خالی نگه دارد، حتی خواندن صحیح تمام حروف هم به معنی استخراج صحیح جدول نیست.

به‌جای حدس از فاصله‌ها، مختصات بگیرید

تسرکت می‌تواند خروجی TSV شامل سطح عنصر، مختصات، اندازه، اطمینان و متن تولید کند. فرمان زیر، با فرض نصب تسرکت و داده زبان فارسی fas، برای تصویر ورودی این خروجی را می‌سازد. گزینه psm 6 تصویر را یک بلوک متن فرض می‌کند؛ برای یک برش ساده از جدول می‌توان آن را آزمود، اما این گزینه موتور تشخیص ساختار جدول نیست و برای هر صفحه‌ای مناسب نیست.

```bash
tesseract table.png table -l fas --psm 6 tsv
# Output file: table.tsv
```

در نمونه زیر، ناحیه جدول از تصویر جدا شده و سربرگ در ورودی نیست. محور x از چپ تصویر شروع می‌شود؛ بنابراین مبلغ در بازه چپ، شرح در میانه و شماره ردیف در سمت راست قرار دارد. مرکز افقی هر کلمه ستونش را تعیین می‌کند و نزدیکی مرکز عمودی، کلمات را در یک ردیف قرار می‌دهد. ترتیب فیلدهای CSV را خودمان صریحاً تعیین می‌کنیم؛ جهت نمایش فارسی نباید جای ترتیب داده را بگیرد.

نمونه قابل اجرا: حفظ مبلغ خالی در CSV

کد را در فایل table_cells.py ذخیره کنید و با python3 table_cells.py اجرا کنید؛ وابستگی بیرونی ندارد. ورودی پیش‌فرض یک TSV کوچک و ساختگی با قالب ستون‌های تسرکت است تا منطق بازسازی مستقل از کیفیت OCR آزمایش شود. برای امتحان فایل واقعی، فرمان python3 table_cells.py table.tsv را اجرا کنید؛ پیش از آن باید بازه ستون‌ها و محدوده ردیف‌ها را با تصویر خود تطبیق دهید.

```python
import csv
import io
import sys

SAMPLE = """level\tpage_num\tblock_num\tpar_num\tline_num\tword_num\tleft\ttop\twidth\theight\tconf\ttext
5\t1\t1\t1\t1\t1\t550\t100\t20\t20\t95\t۱
5\t1\t1\t1\t1\t2\t330\t100\t80\t20\t94\tکاغذ
5\t1\t1\t1\t1\t3\t60\t100\t100\t20\t93\t۱۲۰٬۰۰۰
5\t1\t1\t1\t2\t1\t550\t140\t20\t20\t96\t۲
5\t1\t1\t1\t2\t2\t330\t140\t70\t20\t94\tپوشه
"""

# Pixel bands for this specific, already-cropped table.
BANDS = [('ردیف', 500, 600), ('شرح', 220, 500), ('مبلغ', 0, 220)]
Y_MIN, Y_MAX = 90, 170
Y_TOLERANCE = 8


def reconstruct(tsv):
words = []
for item in csv.DictReader(io.StringIO(tsv), delimiter='\t'):
if item['level'] != '5' or not item['text'].strip():
continue
x = int(item['left']) + int(item['width']) / 2
y = int(item['top']) + int(item['height']) / 2
if not Y_MIN <= y < Y_MAX:
continue
column = next((name for name, lo, hi in BANDS if lo <= x < hi), None)
if column is None:
raise ValueError('Word outside configured columns: ' + item['text'])
words.append((y, x, column, item['text']))

rows = []
for y, x, column, text in sorted(words):
if not rows or abs(y - rows[-1]['anchor']) > Y_TOLERANCE:
rows.append({'anchor': y, 'cells': {name: [] for name, _, _ in BANDS}})
rows[-1]['cells'][column].append((x, text))

result = []
for row in rows:
record = []
for name, _, _ in BANDS:
tokens = sorted(row['cells'][name], key=lambda token: token[0], reverse=True)
record.append(' '.join(text for _, text in tokens))
result.append(record)
return result


def main():
if len(sys.argv) > 1:
with open(sys.argv[1], encoding='utf-8') as source:
tsv = source.read()
else:
tsv = SAMPLE
records = reconstruct(tsv)
if len(sys.argv) == 1:
assert records == [['۱', 'کاغذ', '۱۲۰٬۰۰۰'], ['۲', 'پوشه', '']]
writer = csv.writer(sys.stdout, lineterminator='\n')
writer.writerow([name for name, _, _ in BANDS])
writer.writerows(records)


if __name__ == '__main__':
main()
```

خروجی مورد انتظار زیر است. ویرگول انتهای خط آخر مهم است: ستون مبلغ حذف نشده، بلکه مقدارش خالی است. رقم‌ها عمداً فارسی باقی مانده‌اند؛ تبدیل آن‌ها به عدد و تعیین واحد پول، مرحله‌ای جدا از بازسازی سلول است.

```other
ردیف,شرح,مبلغ
۱,کاغذ,۱۲۰٬۰۰۰
۲,پوشه,
```

کجا این روش شکست می‌خورد و چه زمانی انتخابش نکنیم؟

این روش سادگی را با وابستگی به قالب مبادله می‌کند. اگر تصویر دو برابر شود، مرزهای پیکسلی دیگر درست نیستند؛ اگر صفحه کج باشد، کلمات یک ردیف ممکن است بیش از آستانه عمودی از هم فاصله بگیرند. آستانه بزرگ‌تر نیز ممکن است دو ردیف نزدیک را ادغام کند. پیش از پردازش دسته‌ای، اندازه و راستای تصاویر را یکسان کنید و بازه‌ها را روی چند تصویر واقعی، از جمله یک نمونه با خانه خالی، بررسی کنید. مستندات بهبود کیفیت تسرکت نیز به اثر کجی تصویر و دشواری تشخیص جدول اشاره می‌کند.

شرح چندخطی، سلول ادغام‌شده و متن مخلوط فارسی و لاتین از فرض‌های مثال بیرون‌اند: مرتب‌سازی کلمات از راست به چپ لزوماً ترتیب منطقی متن دوجهته را نمی‌سازد. همچنین خانه خالی در خروجی می‌تواند ناشی از ندیدن یک مبلغ توسط OCR باشد، نه خالی‌بودن واقعی تصویر. برای ثبت مالی، خانه خالی را علامت بازبینی بدانید و مبلغ را با تصویر و کنترل‌های حسابداری تطبیق دهید؛ این کد مجوز ثبت خودکار نیست.

اگر PDF متن دیجیتال دارد، ابتدا ابزارهایی مانند pdfplumber را برای استخراج متن دارای مختصات یا جدول امتحان کنید؛ رندرکردن و OCR دوباره می‌تواند خطای تشخیص تازه ایجاد کند. اگر ورودی اسکنِ یک فرم ثابت است، بازه‌های ستونی قابل دفاع‌اند. اما اگر شکل جدول میان اسناد تغییر می‌کند، این نمونه انتخاب نادرستی برای تولید است: به تشخیص ساختار جدول نیاز دارید، نه صرفاً افزایش آستانه‌ها. تصمیم اصلی، ثابت‌بودن ساختار و نیاز به حفظ سلول‌هاست، نه فقط درست دیده‌شدن متن خروجی.

منابع

Tesseract — Command Line Usage
https://tesseract-ocr.github.io/tessdoc/Command-Line-Usage.html
مرجع فرمان اجرا و ساختار خروجی TSV.

Tesseract — Improving the quality of the output
https://tesseract-ocr.github.io/tessdoc/ImproveQuality.html
توضیح پیش‌پردازش، کجی تصویر، حالت‌های بخش‌بندی و محدودیت تشخیص جدول.

Tesseract — Trained language data
https://github.com/tesseract-ocr/tessdata
مخزن داده‌های زبان، از جمله داده فارسی با شناسه fas.

pdfplumber — Extract text, characters and tables from PDFs
https://github.com/jsvine/pdfplumber
مستندات استخراج متن، مختصات و جدول؛ گزینه‌ای برای بررسی پیش از OCR روی PDFهای دیجیتال.

No comments yet