برای بررسی ترتیب خواندن یک PDF فارسی دوستونه، بلوکهای متن را روی صفحه شناسایی کنید و ترتیب استخراجشده را با «ستون راست از بالا به پایین، سپس ستون چپ از بالا به پایین» بسنجید. این مقاله برای سارا، توسعهدهندهٔ سامانهٔ نمایهسازی اسناد فارسی، یک آزمون قابل اجرا میسازد که اختلاط ستونها را گزارش میکند؛ هدف، اصلاح کل ساختار PDF نیست.
اول روشن کنید کدام ترتیب را بررسی میکنید
ترتیب ظاهری متن، ترتیب خروجی ابزار استخراج و ترتیب خواندن در ساختار دسترسپذیری PDF الزاماً یکسان نیستند. اینجا فقط ترتیب بلوکهای خروجی استخراج را بررسی میکنیم. مستندات PyMuPDF توضیح میدهد که متن استخراجشده ممکن است ترتیب خواندن طبیعی نداشته باشد؛ بنابراین دیدن یک صفحهٔ ظاهراً درست، برای اعتماد به خروجی متنی کافی نیست.
فرض نمونه این است که صفحه یک متن پیوسته دارد: خواننده ستون راست را تمام میکند و سپس به ابتدای ستون چپ میرود. راستبهچپ بودن زبان بهتنهایی این فرض را ثابت نمیکند. اگر دو ستون دو خبر مستقل باشند، یا یک جدول در عرض صفحه جریان خواندن را قطع کند، باید ترتیب مطلوب را از ساختار واقعی همان سند تعیین کنید.
مختصات بلوکها را بگیرید، نه فقط متن تخت
در PyMuPDF خروجی page.get_text("blocks", sort=False) برای هر بلوک، مختصات مستطیل و متن را ارائه میکند. پنج عضو نخست هر رکورد، x0، y0، x1، y1 و متن هستند؛ عضو با اندیس ۶ نوع بلوک است و مقدار صفر به بلوک متن اشاره دارد. ترتیب فهرست را دستنخورده نگه دارید تا بتوانید همان ترتیب استخراج را ارزیابی کنید. در مختصات صفحهٔ PyMuPDF، مبدأ بالا-چپ است و y رو به پایین افزایش مییابد.
پیش از آزمون، سربرگ، پابرگ و عنوان سراسری را از محدودهٔ متن اصلی جدا کنید. سپس یک خط عمودی در فضای خالی میان دو ستون انتخاب کنید. در مثال ما این مرز x=300 است. بلوکی که کاملاً سمت راست مرز باشد راست، و بلوکی که کاملاً سمت چپ آن باشد چپ محسوب میشود. اگر بلوکی از مرز عبور کند، برنامه بهجای حدسزدن متوقف میشود.
آزمون عملی: خروجی سطربهسطر را از خروجی ستونبهستون تشخیص دهید
کد زیر فقط به کتابخانهٔ استاندارد Python 3 نیاز دارد. ورودی آن فهرست بلوکها در ترتیب استخراجشده است؛ شناسهٔ هر بلوک باید یکتا باشد. نمونه عمداً با ترتیب نامناسب «راستِ بالا، چپِ بالا، راستِ پایین، چپِ پایین» ساخته شده است. متن داخل بلوکها صرفاً برای بازبینی انسانی است و در تصمیم الگوریتم دخالت ندارد.
```python
import json
import sys
def check(data):
split_x = data['split_x']
blocks = data['blocks']
ids = [b['id'] for b in blocks]
if len(ids) != len(set(ids)):
raise ValueError('Block IDs must be unique')
right, left = [], []
for b in blocks:
x0, y0, x1, y1 = b['bbox']
if not (x0 < x1 and y0 < y1):
raise ValueError('Invalid bbox: ' + str(b['id']))
if x0 >= split_x:
right.append(b)
elif x1 <= split_x:
left.append(b)
else:
raise ValueError('Block crosses column boundary: ' + str(b['id']))
if not right or not left:
raise ValueError('Expected text blocks in both columns')
def top_first(b):
return (b['bbox'][1], b['bbox'][0])
expected = sorted(right, key=top_first) + sorted(left, key=top_first)
expected_ids = [b['id'] for b in expected]
return {
'matches_expected_order': ids == expected_ids,
'extracted_order': ids,
'expected_order': expected_ids
}
if __name__ == '__main__':
try:
with open(sys.argv[1], encoding='utf-8') as f:
result = check(json.load(f))
print(json.dumps(result, ensure_ascii=False, indent=2))
except (ValueError, KeyError, TypeError, OSError, IndexError) as exc:
print('Cannot check: ' + str(exc), file=sys.stderr)
sys.exit(1)
```
کد را در check_order.py و ورودی زیر را در sample.json ذخیره کنید. هر bbox بهترتیب شامل مختصات چپ، بالا، راست و پایین بلوک است. برای دادهٔ واقعی، این چهار مقدار را از خروجی ابزار استخراج بگیرید و برای هر بلوک یک شناسهٔ ثابت اختصاص دهید.
```other
{
"split_x": 300,
"blocks": [
{"id": "R1", "bbox": [330, 80, 550, 130], "text": "ابتدای ستون راست"},
{"id": "L1", "bbox": [50, 80, 270, 130], "text": "ابتدای ستون چپ"},
{"id": "R2", "bbox": [330, 150, 550, 200], "text": "ادامهٔ ستون راست"},
{"id": "L2", "bbox": [50, 150, 270, 200], "text": "ادامهٔ ستون چپ"}
]
}
```
فرمان اجرا و خروجی مورد انتظار بهترتیب در ادامه آمدهاند. مقدار false یعنی ترتیب ورودی با قرارداد خواندن این صفحه سازگار نیست؛ این نتیجه بهخودیخود به معنی خراببودن فایل PDF نیست.
```bash
python3 check_order.py sample.json
``````other
{
"matches_expected_order": false,
"extracted_order": [
"R1",
"L1",
"R2",
"L2"
],
"expected_order": [
"R1",
"R2",
"L1",
"L2"
]
}
```
نتیجه را چطور تأیید کنیم و کجا به آن اعتماد نکنیم؟
برای تأیید، شناسهها را روی تصویر صفحه یادداشت کنید و مسیر R1، R2، L1، L2 را با چشم دنبال کنید. پایان ستون راست و آغاز ستون چپ را هم از نظر پیوستگی جمله بخوانید. سپس فقط ترتیب بلوکهای ورودی را به همین توالی تغییر دهید و دوباره اجرا کنید؛ نتیجه باید true شود. این کنترل نشان میدهد آزمون جابهجایی بلوکها را تشخیص میدهد، اما صحت واژهها یا ترتیب حروف را نمیسنجد.
مرتبسازی کلی بر اساس مختصات عمودی برای متن تکستونه ساده و مناسب است، اما در صفحهٔ دوستونه میتواند ردیفهای دو ستون را درهم بیامیزد. گزینهٔ sort در ابزار استخراج را نباید بدون بررسی، معادل ترتیب خواندن فارسی دانست. تفکیک ستون و سپس مرتبسازی عمودی کنترل بیشتری میدهد، ولی هزینهاش تعیین مرز و جداسازی عناصر سراسری است؛ این روش یک تحلیلگر عمومی صفحهآرایی نیست.
یک حالت شکست مهم، ادغام متن دو ستون در یک بلوک است. اگر مستطیل آن بلوک مرز را قطع کند، توقف برنامه مطلوب است: با جابهجایی همان بلوک نمیتوان متن درهمرفتهٔ داخلش را ترمیم کرد. باید استخراج را در سطح خط یا واژه بررسی کنید. همچنین اگر هدف انتشار PDF دسترسپذیر است، این آزمون انتخاب کافی و درستی نیست؛ مطابق راهنمای PDF3 در W3C، ترتیب خواندن ساختاری و تجربهٔ فناوری کمکی باید جداگانه بررسی شوند.
منابع
PyMuPDF: Text extraction recipes — https://pymupdf.readthedocs.io/en/latest/recipes-text.html
PyMuPDF: Page.get_text — https://pymupdf.readthedocs.io/en/latest/page.html#Page.get_text
W3C PDF3: Ensuring correct tab and reading order in PDF documents — https://www.w3.org/WAI/WCAG22/Techniques/pdf/PDF3




No comments yet