برای فاین‌تیون TTS فارسی، دادهٔ صوتی خوب چه ویژگی‌هایی دارد؟

اگر می‌خواهید یک مدل TTS فارسی را با صدای یک گوینده آموزش دهید، پیش از تغییر مدل باید داده را ممیزی کنید. این راهنما یک چک‌لیست عملی و یک اسکریپت قابل‌اجرا برای یافتن فایل‌های مشکل‌دار ارائه می‌کند.

اگر شما یک توسعه‌دهندهٔ فارسی‌زبان هستید و می‌خواهید صدای یک گوینده را برای فاین‌تیون TTS آماده کنید، نتیجهٔ عملی این است: قبل از آموزش، مجموعه‌ای از فایل‌های WAV تک‌کاناله با نرخ نمونه‌برداری ثابت، متن دقیق و هم‌تراز، بدون سکوت‌های طولانی و بدون کلیپینگ بسازید. برای یک ممیزی اولیه، فایل‌های ۱ تا ۱۵ ثانیه‌ای با PCM شانزده‌بیتی، متن غیرخالی و نرخ نمونه‌برداری ۲۲۰۵۰ هرتز انتخاب قابل‌دفاعی هستند؛ اما این اعداد قرارداد جهانی نیستند و باید با مدل پایه تطبیق داده شوند.

اول مشخصات مدل پایه را ثابت کنید

کیفیت داده بدون دانستن انتظار مدل قابل تعریف نیست. بعضی پیاده‌سازی‌های TTS نرخ نمونه‌برداری، قالب فایل، نحوهٔ نوشتن متن و ساختار متادیتا را در پیکربندی مدل تعیین می‌کنند. مستندات NeMo و Coqui هر دو بر وجود نگاشت روشن میان فایل صوتی و متن تأکید دارند، اما قالب دقیق متادیتا در آن‌ها یکسان نیست. بنابراین ابتدا نرخ نمونه‌برداری و قالب ورودی مدل پایه را از تنظیمات یا مستندات همان پروژه بخوانید و سپس تبدیل کنید؛ نرخ نمونه‌برداری پیشنهادی این مقاله را بدون بررسی به مدل تحمیل نکنید.

برای یک گوینده، یک نرخ نمونه‌برداری ثابت و یک کانال معمولاً فرایند را ساده‌تر می‌کند. فایل‌های استریو، نرخ‌های مخلوط مانند ۱۶ و ۴۸ کیلوهرتز، یا ترکیب WAV و MP3 ممکن است باعث شوند پیش‌پردازش متفاوتی روی نمونه‌ها اعمال شود. تبدیل نرخ نمونه‌برداری باید با فیلتر مناسب انجام شود؛ مستندات PyTorch Audio نشان می‌دهد که resampling یک عملیات پردازشی است، نه صرفاً تغییر عدد نرخ در هدر فایل.

ویژگی‌های صوت خوب برای فارسی

هر قطعه باید تا حد ممکن یک جمله یا عبارت کامل و مستقل باشد. ابتدای بریده‌شده، پایان ناتمام، نفس‌گیری روی کلمه، صدای کلیک، موسیقی پس‌زمینه و پژواک اتاق را حذف یا جدا کنید. سکوت کوتاه طبیعی در ابتدا و انتها مفید است، اما سکوت طولانی نسبت سیگنال مفید به زمان را پایین می‌آورد و مدل را به یادگیری سکوت وادار می‌کند. بازهٔ ۱ تا ۱۵ ثانیه در این مقاله فقط یک فیلتر غربالگری است؛ جمله‌های بسیار کوتاه یا طولانی ممکن است با معماری و کاربرد شما بهتر یا بدتر باشند.

کلیپینگ را جدی بگیرید. وقتی دامنهٔ موج در بخش‌های زیادی به بیشینهٔ عددی می‌چسبد، بخشی از اطلاعات شکل موج از بین رفته و با افزایش یا کاهش صدا قابل‌بازسازی نیست. اسکریپت پایین نسبت نمونه‌های نزدیک به بیشینه را گزارش می‌کند. آستانهٔ ۰٫۱ درصد در اینجا یک علامت خطر عملی است، نه استاندارد علمی قطعی؛ قطعه‌ای که علامت خطر دارد باید با گوش دادن و مشاهدهٔ شکل موج بررسی شود، نه اینکه کورکورانه حذف شود.

بلندی صدا نیز باید سازگار باشد، اما نرمال‌سازی شدید راه‌حل همه‌چیز نیست. اگر یک فایل بسیار آرام و فایل دیگر بیش‌ازحد بلند باشد، مدل ممکن است بخشی از ظرفیت خود را صرف تفاوت ضبط‌ها کند. نرمال‌سازی را پس از حذف نویز و کلیپینگ و با یک روش ثابت انجام دهید؛ هرگز برای جبران صدای بریده‌شده، دامنه را فشرده یا بلندتر نکنید.

متن فارسی باید با آنچه شنیده می‌شود یکی باشد

در فارسی، اختلاف میان «ی» و «ي»، «ک» و «ك»، فاصلهٔ معمولی و نیم‌فاصله، اعداد، نشانه‌گذاری و شکل‌های مختلف حروف می‌تواند متن را از نظر رشته‌ای متفاوت کند، حتی اگر برای انسان شبیه به نظر برسد. یک نرمال‌ساز ثابت انتخاب کنید و آن را هم برای دادهٔ آموزشی و هم برای متن زمان اجرا به کار ببرید. با این حال، همهٔ نشانه‌ها را بدون فکر حذف نکنید: نقطه، ویرگول و علامت سؤال می‌توانند به مدل برای یادگیری مکث و آهنگ جمله کمک کنند، اگر tokenizer و مدل شما از آن‌ها پشتیبانی کنند.

متن باید آن چیزی را بنویسد که گوینده واقعاً خوانده است، نه نسخه‌ای که ویراستار ترجیح می‌دهد. برای عددها، تاریخ‌ها، واحدها، نشانی اینترنتی و واژه‌های لاتین یک سیاست مشخص بنویسید؛ مثلاً عدد ۱۴۰۲ را به شکل خوانش فارسی ثبت کنید یا همهٔ نمونه‌های عددی را با یک قاعدهٔ واحد به متن تبدیل کنید. اگر یک واژه در صدا حذف شده، تپق زده یا با تلفظی غیرمعمول خوانده شده است، آن نمونه را بازشنوی و برچسب‌گذاری کنید؛ متن اصلاح‌شده‌ای که با صدا هم‌تراز نیست به مدل سیگنال متناقض می‌دهد.

ممیزی خودکار با یک manifest ساده

برای شروع، یک فایل TSV به نام manifest.tsv بسازید که در هر خط مسیر فایل و متن همان فایل را داشته باشد. کد زیر فقط از کتابخانه‌های استاندارد پایتون استفاده می‌کند و چهار دسته خطا را گزارش می‌دهد: فایل غیرقابل‌خواندن، کانال یا فرمت نامناسب، نرخ نمونه‌برداری یا طول خارج از سیاست انتخابی، و کلیپینگ یا متن خالی. خروجی آن فهرست JSON است تا بتوانید موارد پرخطر را برای بازشنوی جدا کنید.

```python
import csv
import json
import sys
import unicodedata
import wave

TARGET_RATE = 22050
MIN_SECONDS = 1.0
MAX_SECONDS = 15.0
CLIP_THRESHOLD = 0.001


def normalize_text(text):
return unicodedata.normalize("NFC", text).strip()


def audit(row):
path = row[0].strip()
text = normalize_text(row[1]) if len(row) > 1 else ""
problems = []

if not text:
problems.append("empty_text")

try:
with wave.open(path, "rb") as wav:
channels = wav.getnchannels()
rate = wav.getframerate()
sample_width = wav.getsampwidth()
frames = wav.getnframes()
duration = frames / rate if rate else 0
raw = wav.readframes(frames)

if channels != 1:
problems.append("not_mono")
if rate != TARGET_RATE:
problems.append("unexpected_sample_rate")
if sample_width != 2:
problems.append("not_pcm16")
if duration < MIN_SECONDS or duration > MAX_SECONDS:
problems.append("duration_out_of_range")

if sample_width == 2 and raw:
samples = memoryview(raw).cast("h")
clipped = sum(abs(sample) >= 32760 for sample in samples)
clipping_ratio = clipped / len(samples)
if clipping_ratio > CLIP_THRESHOLD:
problems.append("possible_clipping")
else:
clipping_ratio = None

return {
"audio": path,
"duration": round(duration, 3),
"clipping_ratio": None if clipping_ratio is None else round(clipping_ratio, 6),
"problems": problems,
}
except (OSError, EOFError, ValueError) as exc:
return {"audio": path, "problems": ["unreadable_file", type(exc).__name__]}


if len(sys.argv) != 2:
raise SystemExit("run: python audit_tts_manifest.py manifest.tsv")

with open(sys.argv[1], "r", encoding="utf-8", newline="") as handle:
reader = csv.reader(handle, delimiter="\t")
for row in reader:
if not row or row[0].strip().startswith("#"):
continue
print(json.dumps(audit(row), ensure_ascii=False))
```

نمونهٔ ورودی manifest.tsv می‌تواند دو خط داشته باشد: «audio/0001.wav<TAB>امروز هوا آرام است.» و «audio/0002.wav<TAB>قیمت نهایی ۱۲۵ هزار تومان است.» . دستور اجرا این است: «python audit_tts_manifest.py manifest.tsv». برای یک فایل سالم، خروجی مورد انتظار شبیه «{"audio": "audio/0001.wav", "duration": 3.214, "clipping_ratio": 0.0, "problems": []}» است. هر خطی که problems خالی ندارد باید پیش از آموزش بازشنوی یا اصلاح شود؛ خروجی خالی به‌تنهایی تضمین نمی‌کند که تلفظ و متن درست‌اند.

نمونه‌برداری، تقسیم داده و نقطهٔ شکست روش

پس از ممیزی، مجموعه را به آموزش، اعتبارسنجی و آزمون تقسیم کنید و گوینده، جملهٔ تکراری و نسخه‌های نزدیک یک ضبط را میان این بخش‌ها پخش نکنید. اگر یک متن یا جمله با صدای تقریباً یکسان در آموزش و آزمون ظاهر شود، معیار شما بیش‌ازحد خوش‌بینانه می‌شود. برای یک گوینده، تقسیم تصادفی در سطح فایل معمولاً ساده است، اما باید مراقب نشت محتوایی و ضبط‌های پشت‌سرهم باشید.

این رویکرد وقتی شکست می‌خورد که مشکل اصلی داده، فنی نباشد. فایل می‌تواند تک‌کاناله و بدون کلیپینگ باشد، اما گوینده «ر» را اشتباه بخواند، مکث‌های غیرطبیعی داشته باشد یا متن با صدا هماهنگ نباشد. برای همین، پس از فیلتر خودکار، همهٔ نمونه‌های اعتبارسنجی و بخشی از نمونه‌های آموزش را با گوش و متن روبه‌رو بررسی کنید. اگر هدف شما تلفظ استاندارد فارسی است، یک فهرست واژه و جملهٔ پوشش‌دهندهٔ واج‌ها و اعداد پرتکرار نیز طراحی کنید.

در تصمیم میان دادهٔ کم اما تمیز و دادهٔ زیاد اما ناهمگون، برای فاین‌تیون صدای یک گوینده معمولاً ابتدا دادهٔ تمیزتر ارزش بیشتری دارد، چون برچسب‌های متناقض و چند محیط ضبط، هدف مدل را مبهم می‌کنند. این به معنای حذف گسترده نیست: اگر با حذف نمونه‌ها پوشش واژگان یا تنوع جمله‌ها از بین برود، بخشی از دادهٔ متوسط را نگه دارید و آن را جداگانه علامت‌گذاری کنید. تصمیم نهایی را با یک مجموعهٔ آزمون ثابت و گوش دادن به خروجی بگیرید، نه فقط با تعداد فایل‌ها.

منابع

NVIDIA NeMo TTS Datasets — https://docs.nvidia.com/nemo-framework/user-guide/latest/nemotoolkit/tts/datasets.html
Coqui TTS: Formatting Your Dataset — https://coqui-tts.readthedocs.io/en/latest/datasets/formatting_your_dataset.html
ESPnet TTS Recipes — https://github.com/espnet/espnet/tree/master/egs2
PyTorch Audio Resampling Tutorial — https://pytorch.org/audio/stable/tutorials/audio_resampling_tutorial.html

No comments yet