اجرای TTS فارسی به‌صورت self-host با مدل MMS و تبدیل متن به فایل WAV

اگر یک توسعه‌دهنده می‌خواهید متن فارسی را بدون API خارجی به فایل صوتی تبدیل کنید، مدل رسمی facebook/mms-tts-fas و کتابخانه Transformers مسیر کوتاه و قابل‌تکراری ارائه می‌کنند. در این راهنما، نصب، اجرای محلی، ذخیره WAV و محدودیت‌های مهم آن را می‌بینید.

نتیجه عملی: یک دستور، یک فایل صوتی محلی

برای یک توسعه‌دهنده پایتون که می‌خواهد متن فارسی را بدون ارسال متن به سرویس ابری به صوت تبدیل کند، مدل facebook/mms-tts-fas نقطه شروع مناسبی است. این مدل از خانواده VITS در Transformers استفاده می‌کند؛ اجرای نخست وزن‌ها را از Hugging Face دریافت می‌کند و پس از آن می‌توانید مدل را از کش محلی بارگذاری کنید.

خروجی نمونه برنامه، فایل farsi.wav با نرخ نمونه‌برداری تنظیم‌شده در پیکربندی مدل است. برای آزمایش، متن کوتاه و دارای نشانه‌گذاری روشن انتخاب کنید؛ متن طولانی را مستقیماً به یک فراخوانی نسپارید، چون زمان اجرا و احتمال خطای تلفظ افزایش می‌یابد.

نصب و دریافت مدل

در یک محیط مجازی پایتون، وابستگی‌های اصلی را نصب کنید. بسته torch اجرای مدل را انجام می‌دهد، Transformers مدل و توکنایزر را بارگذاری می‌کند و SoundFile آرایه صوتی را به WAV می‌نویسد. اگر GPU سازگار دارید، نسخه torch متناسب با همان GPU را از راهنمای رسمی PyTorch نصب کنید؛ برای شروع، CPU نیز برای آزمایش صحت مسیر کافی است.

```bash
python -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
pip install torch transformers soundfile
```

شناسه مدل را دقیقاً facebook/mms-tts-fas قرار دهید. در اجرای اول، tokenizer و وزن‌های مدل دانلود می‌شوند؛ بنابراین آن اجرا به اینترنت نیاز دارد. بعد از دانلود، برای اجرای آفلاین می‌توانید کش Hugging Face را نگه دارید و دسترسی شبکه را در محیط استقرار ببندید، اما باید مطمئن شوید همه فایل‌های لازم قبلاً موجود هستند.

کد کامل: از متن فارسی تا farsi.wav

کد زیر یک ورودی ثابت دارد، مدل را روی CPU اجرا می‌کند و موج صوتی را با نرخ نمونه‌برداری اعلام‌شده در تنظیمات مدل ذخیره می‌کند. برای استفاده در سرور GPU، می‌توانید model.to("cuda") و ورودی‌های توکنایزر را نیز به همان دستگاه منتقل کنید؛ ابتدا اجرای CPU را برای بررسی نصب و قالب خروجی انجام دهید.

```python
import torch
import soundfile as sf
from transformers import AutoTokenizer, VitsModel

MODEL_ID = "facebook/mms-tts-fas"
TEXT = "سلام. این یک آزمایش تبدیل متن فارسی به گفتار است."
OUTPUT_FILE = "farsi.wav"

# بارگذاری tokenizer و مدل؛ اجرای اول وزن‌ها را دانلود می‌کند.
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
model = VitsModel.from_pretrained(MODEL_ID)
model.eval()

inputs = tokenizer(TEXT, return_tensors="pt")
with torch.no_grad():
output = model(**inputs).waveform

waveform = output.squeeze().cpu().numpy()
sample_rate = model.config.sampling_rate
sf.write(OUTPUT_FILE, waveform, sample_rate)

print(f"saved: {OUTPUT_FILE}")
print(f"sample_rate: {sample_rate}")
print(f"samples: {len(waveform)}")

# Input:
# سلام. این یک آزمایش تبدیل متن فارسی به گفتار است.
# Expected output:
# saved: farsi.wav
# sample_rate: <rate reported by the model>
# samples: <positive integer>
```

فایل را با دستور زیر اجرا کنید. مقدار sample_rate و تعداد samples به اجرای واقعی و متن بستگی دارد، بنابراین در خروجی مورد انتظار عمداً به‌صورت مقدار گزارش‌شده توسط مدل نشان داده شده است، نه یک عدد ساختگی.

```bash
python tts_fa.py
```

پس از اجرا، وجود farsi.wav را بررسی کنید و آن را با یک پخش‌کننده صوتی باز کنید. اگر فایل ساخته شد اما صدا شنیده نشد، ابتدا اندازه فایل، نرخ نمونه‌برداری گزارش‌شده و امکان پخش WAV در نرم‌افزار مقصد را بررسی کنید؛ تبدیل دوباره به MP3 در این مرحله مشکل مدل را حل نمی‌کند.

پیش‌پردازش فارسی و نقطه شکست روش

برای کیفیت پایدار، قبل از توکنایزر متن را نرمال کنید: فاصله‌های تکراری را حذف کنید، شکل‌های متفاوت ی و ک را یکدست کنید و متن را به جمله‌های کوتاه تقسیم کنید. عددها، URLها، ایمیل‌ها و مخفف‌های لاتین را نیز به شکل خواندنی تبدیل کنید؛ مثلاً به‌جای سپردن مستقیم 1403 به مدل، اگر کاربرد شما حساس است آن را به عبارت فارسی معادل تبدیل و نتیجه را شنیداری ارزیابی کنید.

یک شکست رایج این است که متن چند پاراگرافی را یک‌باره به مدل بدهید. خروجی ممکن است بسیار کند شود یا در انتهای صوت مکث و تلفظ غیرطبیعی ایجاد کند. راه‌حل عملی، تقسیم متن بر اساس جمله، تولید جداگانه و سپس اتصال فایل‌ها با حفظ نرخ نمونه‌برداری یکسان است؛ با این trade-off که مرز بین قطعه‌ها ممکن است مکث قابل شنیدن ایجاد کند.

اگر نیاز شما مکالمه بلادرنگ، صدای قابل انتخاب، کنترل دقیق لحن یا تولید تجاری است، این انتخاب لزوماً درست نیست. مدل آماده MMS کنترل محدودی نسبت به یک سامانه اختصاصی دارد، اجرای CPU می‌تواند برای پاسخ تعاملی دیر باشد و شرایط مجوز باید جداگانه بررسی شود. در چنین مواردی ابتدا معیارهایی مانند تأخیر قابل قبول، تعداد درخواست هم‌زمان، مجوز و کیفیت تلفظ نام‌های دامنه خود را اندازه‌گیری کنید، سپس سراغ مدل یا سرویس دیگری بروید.

انتخاب بین اجرای CPU و GPU

CPU برای آزمایش، کارهای زمان‌بندی‌شده و حجم پایین ساده‌تر است و وابستگی سخت‌افزاری کمتری دارد. GPU زمانی ارزش دارد که طول صف یا تعداد درخواست‌ها مهم باشد، اما هزینه استقرار، سازگاری نسخه torch و مصرف حافظه را اضافه می‌کند. به‌جای حدس‌زدن، با متن‌های واقعی خودتان زمان تولید یک جمله و چند درخواست پیاپی را اندازه بگیرید؛ نتیجه این اندازه‌گیری از مقایسه اسمی سخت‌افزار قابل اتکاتر است.

منابع

facebook/mms-tts-fas model card — https://huggingface.co/facebook/mms-tts-fas
Transformers VITS documentation — https://huggingface.co/docs/transformers/main/en/model_doc/vits
Massively Multilingual Speech: A Breakthrough in Speech Technology — https://arxiv.org/abs/2305.13516

No comments yet