آماده‌سازی رونویسی فارسی برای جست‌وجو، بدون خراب‌کردن عدد و نام

متن اصلی رونویسی را نگه دارید و برای جست‌وجو یک نسخهٔ جدا بسازید. با یک اسکریپت پایتون، رقم‌ها و حروف ناهمگون را یکسان می‌کنیم و شکل‌های تأییدشدهٔ نام‌ها را به یک کلید مشترک می‌رسانیم.

برای اینکه جست‌وجوی «اوپن ای آی 007» به رونویسی دارای «اوپن‌ای‌آی ۰۰۷» برسد، متن اصلی را دست‌کاری نکنید: یک فیلد جدا برای جست‌وجو بسازید و همان تبدیل‌ها را روی عبارت جست‌وجو هم اجرا کنید. این راهنما برای سارا، توسعه‌دهندهٔ آرشیو مصاحبه‌های فارسی، است؛ خروجی آن یک تابع قابل‌آزمایش برای یکسان‌سازی رقم‌ها، حروف و صورت‌های تأییدشدهٔ نام‌هاست.

قرارداد داده: متن اصلی شاهد است، متن جست‌وجو ابزار

برای هر قطعهٔ رونویسی دست‌کم متن اصلی، متن جست‌وجو و نسخهٔ قواعد تبدیل را ذخیره کنید؛ شناسهٔ قطعه و زمان شروع صوت نیز باید همراه آن بمانند. نتیجهٔ جست‌وجو باید کاربر را به متن اصلی و صوت برگرداند، نه اینکه نسخهٔ ساده‌شده را به‌عنوان نقل‌قول نمایش دهد. تغییر قواعد، مستلزم بازسازی فیلد جست‌وجوی قطعات قبلی است.

سه عملیات را از هم جدا کنید: نرمال‌سازی نویسه‌ها، نگاشت نام‌های تأییدشده و اصلاح محتوای رونویسی. دو مورد اول را می‌توان با قواعد محدود انجام داد؛ مورد سوم به شاهد صوتی نیاز دارد. تبدیل «علي» به «علی» تفاوت نوشتاری را حذف می‌کند، اما ثابت نمی‌کند که گوینده واقعاً نام علی را گفته است.

قواعد محدود برای عدد و نام

در این نمونه، ابتدا NFKC اجرا می‌شود؛ سپس «ي» و «ك» به «ی» و «ک»، رقم‌های فارسی و عربی به رقم لاتین، و نیم‌فاصله به فاصله تبدیل می‌شوند. NFKC طبق مستندات یونیکد، هم‌ارزی‌های سازگاری را نیز اعمال می‌کند و ممکن است تمایزهای نمایشی را از بین ببرد؛ به همین دلیل فقط روی فیلد مشتق‌شده اجرا می‌شود. این نرمال‌سازی به‌تنهایی جای نگاشت صریح رقم‌ها و حروف فارسی را نمی‌گیرد.

عدد را رشته نگه می‌داریم: «۰۰۷» باید «007» شود، نه عدد صحیح 7. برای شناسهٔ تیکت، شمارهٔ حساب یا کد محصول، صفر آغازین می‌تواند بخشی از هویت باشد. همچنین «۲٫۵» را به‌زور به یک مقدار عددی تبدیل نمی‌کنیم؛ تشخیص اعشار، تاریخ و مبلغ مسئله‌ای جداست و باید قواعد حوزهٔ خودش را داشته باشد.

برای نام، یک واژه‌نامهٔ کوچک و بازبینی‌شده می‌سازیم: «اوپن‌ای‌آی»، «اوپن ای آی» و «OpenAI» همگی به کلید openai می‌رسند. این انتخاب برای یک نام مشخص و کم‌ابهام مناسب است؛ نگاشت یک نام خانوادگی مشترک به یک شخص مشخص، بدون زمینه، تصمیم درستی نیست. مرز واژه نیز بررسی می‌شود تا جایگزینی داخل واژه‌ای بلندتر رخ ندهد.

نمونهٔ اجرایی: یک مسیر برای سند و پرس‌وجو

کد زیر فقط به کتابخانهٔ استاندارد پایتون ۳ نیاز دارد. آن را با رمزگذاری UTF-8 در فایل prepare_search.py ذخیره کنید. ورودی داخل کد است: یک جمله با «علي»، شناسهٔ «۰۰۷» و نام دارای نیم‌فاصله. تابع prepare هم برای سند و هم برای پرس‌وجو استفاده می‌شود تا اختلاف قواعد در دو سمت، نتیجه را خراب نکند.

```python
import re
import unicodedata

TRANSLATION = str.maketrans({
**dict(zip('۰۱۲۳۴۵۶۷۸۹', '0123456789')),
**dict(zip('٠١٢٣٤٥٦٧٨٩', '0123456789')),
'ي': 'ی',
'ك': 'ک',
'\u200c': ' ',
})


def base(text):
text = unicodedata.normalize('NFKC', text)
text = text.translate(TRANSLATION).casefold()
return re.sub(r'\s+', ' ', text).strip()


ALIASES = {
base('اوپن‌ای‌آی'): 'openai',
base('اوپن ای آی'): 'openai',
base('OpenAI'): 'openai',
}

# Longer aliases take precedence when aliases overlap.
ALIAS_PATTERN = re.compile(
r'(?<!\w)(?:'
+ '|'.join(re.escape(x) for x in sorted(ALIASES, key=len, reverse=True))
+ r')(?!\w)'
)


def prepare(text):
return ALIAS_PATTERN.sub(lambda m: ALIASES[m.group(0)], base(text))


original = 'علي گفت: تیکت ۰۰۷ برای اوپن‌ای‌آی ثبت شد.'
query = 'اوپن ای آی 007'
indexed = prepare(original)
prepared_query = prepare(query)

assert indexed == 'علی گفت: تیکت 007 برای openai ثبت شد.'
assert prepare(indexed) == indexed
assert prepare('ك ٠٠٧') == 'ک 007'
assert prepare('007') != prepare('7')
assert prepare('نااوپن‌ای‌آی') != 'ناopenai'

# Demonstration only: unordered whole-token matching.
document_tokens = set(re.findall(r'\w+', indexed))
query_tokens = set(re.findall(r'\w+', prepared_query))

print(indexed)
print(prepared_query)
print(query_tokens <= document_tokens)
```

با فرمان زیر اجرا کنید. خروجی مورد انتظار نشان می‌دهد صفرهای آغازین حفظ شده‌اند، دو شکل نام یکسان شده‌اند و پرس‌وجو با قطعه تطبیق دارد. آزمون اجرای دوبارهٔ prepare نیز بررسی می‌کند که برای این ورودی، تبدیل دوباره نتیجه را تغییر نمی‌دهد.

```bash
python3 prepare_search.py
```

```other
علی گفت: تیکت 007 برای openai ثبت شد.
openai 007
True
```

کجا این روش شکست می‌خورد؟

شکست مهم، اشتباه گرفتن یکسان‌سازی با تصحیح است. اگر صوت «تیکت هفت» باشد و رونویسی «تیکت هشت» تولید کند، این کد هیچ شاهدی برای بازیابی عدد درست ندارد. حتی تبدیل «هفت» به «7» را هم انجام نمی‌دهد: عددهای حروفی به تحلیل جداگانه نیاز دارند و ممکن است داخل نام یا عبارت غیرعددی ظاهر شوند. برای فیلدهای حساس، عدد و نام را با زمان صوت به بازبین انسانی ارجاع دهید.

تبدیل نیم‌فاصله به فاصله و ادغام نام‌ها احتمال پیدا شدن صورت‌های متفاوت را بیشتر می‌کند، اما تمایز نوشتاری را کاهش می‌دهد. اگر نیاز شما یافتن املای دقیق در اسناد حقوقی است، این مسیر جای جست‌وجوی دقیق روی متن اصلی را نمی‌گیرد. همچنین طول متن عوض می‌شود؛ موقعیت نویسه در خروجی را نمی‌توان مستقیماً برای هایلایت متن اصلی استفاده کرد. در این نمونه، واحد نمایش نتیجه همان قطعهٔ دارای زمان صوت است.

بین واژه‌نامه و تطبیق تقریبی، معیار تصمیم خطر برخورد اشتباه است: واژه‌نامه پوشش محدود ولی رفتار قابل‌بازبینی دارد؛ تطبیق تقریبی ممکن است غلط املایی را پیدا کند، اما برای نام‌های نزدیک و شناسه‌های عددی می‌تواند نتیجهٔ نادرست بسازد. در این مسئله ابتدا واژه‌نامه را با صورت‌های تأییدشده گسترش دهید و تطبیق تقریبی را، اگر لازم شد، صرفاً برای پیشنهاد بازبینی به کار ببرید، نه بازنویسی خودکار شناسه‌ها.

پیش از اتصال به آرشیو، چند قطعهٔ واقعی با پاسخ معلوم انتخاب کنید: رقم فارسی و عربی، صفر آغازین، نام دارای نیم‌فاصله و نام مشابه ولی متفاوت. هم رسیدن به نتیجهٔ درست را بررسی کنید و هم نتیجه‌های اضافی را. تطبیق مجموعهٔ واژه‌ها در کد فقط نمایش است؛ برای آرشیو بزرگ، خروجی prepare را به نمایهٔ جست‌وجو بدهید و مراقب باشید تحلیل‌گر بعدی، شناسه‌های عددی یا کلیدهای نام را برخلاف قرارداد شما تغییر ندهد.

منابع

Python documentation — unicodedata.normalize
https://docs.python.org/3/library/unicodedata.html#unicodedata.normalize

Python documentation — Regular expression operations
https://docs.python.org/3/library/re.html

Unicode Standard Annex #15 — Unicode Normalization Forms
https://www.unicode.org/reports/tr15/

No comments yet