برای اینکه خلاصه عدد و قید مهم را حذف نکند، «عدد تنها» را واحد حفاظت نگیرید؛ جمله حامل عدد، شرط و استثنا را نگه دارید. برای سارا، کارشناس محتوایی که باید اطلاعیه یک طرح اعتباری را کوتاه کند، راه عملی این است: عبارتهای غیرقابلحذف را مشخص کند، جملههای حامل آنها را بردارد و اگر در سقف کلمات جا نشدند، محدودیت را اعلام کند؛ نه اینکه شرطی را بیصدا کنار بگذارد.
۱. چه چیزی باید همراه عدد زنده بماند؟
فرض کنید اطلاعیه میگوید: «اعتبار خرید حداکثر ۱۲ میلیون تومان است و فقط به اعضای دارای اشتراک فعال تعلق میگیرد.» خلاصه «اعضا ۱۲ میلیون تومان اعتبار میگیرند» دو تغییر معنایی دارد: سقف را به مبلغ قطعی تبدیل کرده و شرط اشتراک فعال را برداشته است. عدد درست مانده، اما گزاره دیگر همان گزاره نیست.
پیش از کوتاهکردن، چهار جزء را علامت بزنید: مقدار و واحد؛ نوع مقدار مثل «حداکثر»، «حداقل» یا «حدود»؛ دامنه شمول مثل «فقط اعضای دارای اشتراک فعال»؛ و زمان یا استثنا مثل «تا پایان خرداد» و «بهجز حسابهای آزمایشی». این فهرست باید از متن واقعی استخراج شود، نه از حدس نویسنده. عبارت «۱۲ میلیون تومان» بهتنهایی لنگر کافی نیست؛ «حداکثر ۱۲ میلیون تومان» انتخاب بهتری است.
۲. نمونه اجرایی: استخراج جمله بهجای بازنویسی آزاد
کد زیر عمداً خلاصهساز عمومی نیست. ورودی آن یک اطلاعیه کوتاه است که هر جمله مستقل در یک خط قرار دارد، بهعلاوه فهرست عبارتهای الزامی و سقف کلمات. برنامه هر خط حامل دستکم یک عبارت الزامی را با ترتیب اصلی نگه میدارد، حضور همه عبارتها را کنترل میکند و در صورت عبور از سقف، خطا میدهد. جمله کامل حفظ میشود تا مثلاً «بهجز» بدون موضوع استثنا باقی نماند.
```python
import re
import unicodedata
def normalize(text):
text = unicodedata.normalize('NFC', text)
text = text.translate(str.maketrans(
'۰۱۲۳۴۵۶۷۸۹٠١٢٣٤٥٦٧٨٩يك',
'01234567890123456789یک'
))
text = text.replace('\u200c', ' ')
return re.sub(r'\s+', ' ', text).strip()
def summarize(text, required, max_words):
if not required or any(not normalize(x) for x in required):
raise ValueError('فهرست عبارتهای الزامی نباید خالی باشد.')
lines = [line.strip() for line in text.splitlines() if line.strip()]
anchors = [normalize(x) for x in required]
selected = [
line for line in lines
if any(anchor in normalize(line) for anchor in anchors)
]
result = '\n'.join(selected)
missing = [x for x in required if normalize(x) not in normalize(result)]
if missing:
raise ValueError('عبارت الزامی پیدا نشد: ' + '، '.join(missing))
# A word here means a whitespace-separated token after normalization.
count = len(normalize(result).split())
if count > max_words:
raise ValueError(
f'جملههای ضروری {count} کلمه دارند؛ سقف {max_words} است.'
)
return result
TEXT = '''اعتبار خرید حداکثر ۱۲ میلیون تومان است و فقط به اعضای دارای اشتراک فعال تعلق میگیرد.
ثبت درخواست تا پایان خرداد امکانپذیر است؛ بهجز حسابهای آزمایشی.
رنگ تازه صفحه درخواست آبی است.'''
REQUIRED = [
'حداکثر ۱۲ میلیون تومان',
'فقط به اعضای دارای اشتراک فعال',
'تا پایان خرداد',
'بهجز حسابهای آزمایشی',
]
print(summarize(TEXT, REQUIRED, max_words=40))
```
کد را با رمزگذاری UTF-8 در فایل summary.py ذخیره کنید و فرمان زیر را با Python 3 اجرا کنید. کتابخانه جانبی لازم نیست. ورودی نمونه داخل متغیر TEXT است؛ برای اطلاعیه خودتان، هم TEXT و هم REQUIRED را تغییر دهید. شکستن متن به خطهای مستقل بخشی از آمادهسازی ورودی است، نه قابلیتی که این برنامه خودکار انجام دهد.
```bash
python3 summary.py
```
خروجی مورد انتظار دقیقاً دو خط زیر است. جمله مربوط به رنگ صفحه حذف میشود، اما سقف اعتبار، شرط عضویت، مهلت و استثنا باقی میمانند. برای آزمون مسیر شکست، max_words را به 10 تغییر دهید؛ برنامه باید بهجای تولید خلاصه ناقص، ValueError بدهد.
```other
اعتبار خرید حداکثر ۱۲ میلیون تومان است و فقط به اعضای دارای اشتراک فعال تعلق میگیرد.
ثبت درخواست تا پایان خرداد امکانپذیر است؛ بهجز حسابهای آزمایشی.
```
۳. این کنترل چه چیزی را تضمین نمیکند؟
این برنامه حضور عبارت را میسنجد، نه درستی معنایی را. اگر متن بگوید «مهلت قبلی تا پایان خرداد بود» و در خط بعد آن را به تیر تغییر دهد، انتخاب صرفاً عبارتمحور میتواند اطلاع منسوخ را نگه دارد. همچنین خطی که با «این افراد» شروع میشود، شاید بدون خط قبلی قابل فهم نباشد. در این موارد، ابتدا جملههای وابسته را به یک واحد مستقل تبدیل کنید یا متن را دستی خلاصه کنید؛ اجرای مستقیم این روش انتخاب درستی نیست.
نرمالسازی فقط برای مقایسه است و متن خروجی را تغییر نمیدهد: رقمهای فارسی و عربی یکسانسازی میشوند، ی و ک عربی به شکل فارسی تبدیل میشوند و نیمفاصله مانند فاصله در نظر گرفته میشود. بااینحال «۱۲ میلیون» و «دوازده میلیون» برابر شناخته نمیشوند. تطبیق زیررشته نیز مرز معنایی یا واژگانی را نمیفهمد؛ به همین دلیل عبارتهای کامل و دارای واحد را انتخاب کنید، نه یک رقم منفرد.
۴. چه زمانی استخراج جمله بهتر از بازنویسی است؟
برای اطلاعیه کوتاه و حساس به شرط، استخراج جمله انتخاب محافظهکارانهتری است: عبارت اصلی را نگه میدارد، اما ممکن است طولانی و کمظرافت باشد. بازنویسی دستی یا با مدل زبانی انعطاف بیشتری برای رسیدن به سقف سخت کلمات دارد، ولی به کنترل رابطه عدد، واحد و قید نیاز دارد. پژوهش Maynez و همکاران درباره وفاداری در خلاصهسازی بازنویسانه نشان میدهد که روانبودن خروجی را نباید معادل وفاداری به منبع دانست؛ این پژوهش، تضمین یا ارزیابی عملکرد اسکریپت حاضر نیست.
پیش از انتشار، از روی خلاصه به این پرسشها پاسخ دهید: چه کسی، چه مقدار و با چه واحدی، با چه نوع سقف یا کف، تا چه زمانی و با چه استثنایی؟ پاسخها را با منبع مقایسه کنید. اگر یکی تغییر کرده یا بیپاسخ مانده است، خلاصه هنوز آماده نیست. وقتی همه این اجزا در محدودیت طول جا نمیشوند، سقف را افزایش دهید یا دامنه موضوع خلاصه را صریحاً محدود کنید؛ حذف پنهانی قید راهحل نیست.
منابع
مستندات Python: عبارتهای منظم در ماژول re — مبنای استفاده از re.sub برای یکسانسازی فاصلهها.
https://docs.python.org/3/library/re.html
مستندات Python: نرمالسازی نویسهها با unicodedata — مرجع تابع normalize؛ تبدیل رقمها و حروف در نمونه بهصورت جداگانه نوشته شده است.
https://docs.python.org/3/library/unicodedata.html
On Faithfulness and Factuality in Abstractive Summarization — پژوهش Maynez و همکاران درباره وفاداری و واقعیتمندی خلاصههای بازنویسانه.
https://aclanthology.org/2020.acl-main.173/




No comments yet