از این نتایج چه تصمیمی برای محصول بگیریم؟

برای انتخاب سرویس تبدیل گفتار فارسی، به‌جای دنبال‌کردن یک برندهٔ ثابت، سناریو، کیفیت، latency، هزینه و حریم خصوصی محصول را کنار هم بسنجید.

# از این نتایج چه تصمیمی برای محصول بگیریم؟

اگر قرار است برای یک محصول فارسی سرویس تبدیل گفتار به متن انتخاب کنید، جواب کوتاه این است: هنوز «بهترین مدل» واحدی نداریم. انتخاب درست به کاری بستگی دارد که محصول انجام می‌دهد، به داده‌ای که اجازه دارید به سرویس بیرونی بفرستید و به هزینه‌ای که در مقیاس واقعی می‌پردازید.

این هفته چند مسیر را جداگانه بررسی کردیم: realtime با Speechmatics، اجرای Shenava در Google Colab و ارزیابی ElevenLabs برای مصاحبهٔ فارسی. مقالهٔ مقایسهٔ سرویس‌ها هم نقشهٔ بزرگ‌تری از گزینه‌ها ساخت. نتیجهٔ قابل‌دفاع از کنار هم گذاشتن این مطالب، یک رتبه‌بندی ساختگی نیست؛ یک روش تصمیم‌گیری است که می‌توانید روی دادهٔ خودتان اجرا کنید.

اول مسئله را به سناریو تبدیل کنید

قبل از انتخاب مدل، جملهٔ زیر را کامل کنید: «محصول من باید از فایل یا جریان صوتیِ…، در مدت…، متنِ… تولید کند و خطای قابل‌قبولش در… باشد.»

تفاوت بین این سناریوها از تفاوت اسم مدل‌ها مهم‌تر است:

  • در دستیار جلسه یا تماس، متن باید هم‌زمان برسد. partial و final، زمان رسیدن اولین متن، اصلاح‌های مکرر و قطع اتصال مهم‌اند.
  • در آرشیو مصاحبه، پوشش کامل فایل، timestamp و تشخیص گوینده مهم‌تر از چند ثانیه تاخیر است.
  • در محصولی با دادهٔ حساس، محل پردازش و سیاست نگهداری صوت ممکن است از چند درصد خطای بیشتر مهم‌تر باشد.
  • در یک نمونهٔ اولیه، سرعت راه‌اندازی و امکان تغییر provider معمولاً ارزش بیشتری از بهینه‌سازی زودهنگام هزینه دارد.

یک مدل ممکن است برای سناریوی اول مناسب باشد و برای سناریوی سوم انتخاب بدی باشد. پس جدول مقایسه را با یک ستون «کار محصول من» شروع کنید، نه با ستون نام مدل.

اگر realtime می‌سازید، فقط به برچسب realtime نگاه نکنید

realtime یعنی متن در طول صحبت تولید شود، اما تجربهٔ قابل‌استفاده به چند رفتار جدا وابسته است. باید بدانید سرویس چه زمانی partial می‌فرستد، final را چطور اعلام می‌کند، با سکوت چه می‌کند و اگر اتصال قطع شد از کجا ادامه می‌دهد.

برای یک پایلوت کوچک، این اندازه‌گیری‌ها را ثبت کنید:

  • زمان شروع ارسال صوت تا اولین partial؛
  • زمان پایان جمله تا final شدن همان جمله؛
  • تعداد اصلاح‌های هر partial پیش از final؛
  • تعداد reconnect و درصد sessionهایی که بدون دخالت کاربر تمام می‌شوند؛
  • اختلاف متن نهایی با متن مرجع، جداگانه برای عدد، نام خاص و واژهٔ انگلیسی.

مقالهٔ اجرای Speechmatics برای realtime فارسی (https://getmirza.ir/blog/posts/speechmatics-realtime-persian-python) توضیح می‌دهد که partial، final و latency را باید از هم جدا کرد. همین تفکیک برای مقایسهٔ هر سرویس دیگری هم لازم است. اگر محصول شما با متن موقت کاری نمی‌کند، هزینه و پیچیدگی realtime را فقط به‌خاطر برچسب جذاب آن اضافه نکنید.

برای مصاحبه و آرشیو، کیفیت را به یک عدد تقلیل ندهید

در فایل‌های طولانی، یک transcript ظاهراً روان می‌تواند برای جست‌وجو یا استخراج نقل‌قول مناسب باشد، اما برای زیرنویس یا تحلیل گوینده کافی نباشد. در این سناریو باید خروجی را در چند سطح بررسی کنید:

  • متن کامل و ترتیب بخش‌ها؛
  • timestamp قابل‌استفاده برای جمله یا واژه؛
  • برچسب گوینده و خطاهای جابه‌جایی بین گوینده‌ها؛
  • حفظ نام‌ها، عددها، تاریخ‌ها و واژه‌های انگلیسی؛
  • هزینهٔ موفق هر ساعت صوت، نه فقط قیمت اسمی هر دقیقه.

در ارزیابی ElevenLabs برای مصاحبهٔ فارسی (https://getmirza.ir/blog/posts/elevenlabs-persian-interview-quality-cost-audit)، سوال اصلی فقط «چقدر خوب می‌نویسد؟» نیست؛ باید دید خروجی برای کار بعدی چه‌قدر قابل‌استفاده می‌ماند. اگر تیم شما بعد از transcription مجبور است timestampها را دوباره پیدا کند یا نام گوینده‌ها را دستی اصلاح کند، کیفیت ظاهری متن همهٔ هزینهٔ واقعی را نشان نمی‌دهد.

self-host را با قیمت API مقایسه نکنید

اجرای محلی یا self-host فقط راهی برای حذف قبض API نیست. شما در ازای کنترل بیشتر، مسئولیت GPU، صف، به‌روزرسانی مدل، observability، ذخیره‌سازی و مقیاس‌دهی را هم می‌پذیرید.

برای تصمیم منصفانه، این هزینه‌ها را کنار هم بنویسید:

۱. هزینهٔ سخت‌افزار یا اجارهٔ GPU؛ ۲. زمان مهندسی برای نصب، به‌روزرسانی و عیب‌یابی؛ ۳. ظرفیت واقعی در ساعت اوج؛ ۴. هزینهٔ نگهداری فایل صوتی و خروجی؛ ۵. ریسک خرابی و مسیر بازگشت به سرویس دیگر.

راهنمای راه‌اندازی Shenava در Google Colab (https://getmirza.ir/blog/posts/run-shenava-persian-asr-in-google-colab) برای فهم مسیر اجرا مفید است، اما یک notebook به‌تنهایی معادل سرویس production نیست. پیش از تصمیم نهایی باید همان مدل را با صف، timeout، retry و محدودیت سخت‌افزار واقعی خودتان آزمایش کنید. اگر این آزمایش را انجام نداده‌اید، جملهٔ دقیق‌تر این است: «self-host برای ما قابل‌بررسی است»، نه اینکه «self-host ارزان‌تر است».

پیشنهاد عملی برای چهار نوع محصول

### محصولی که هنوز در مرحلهٔ نمونهٔ اولیه است

یک API را انتخاب کنید که راه‌اندازی و تعویضش ساده باشد. لایهٔ داخلی محصول را به نام provider گره نزنید؛ یک قرارداد واحد برای `transcribe`، وضعیت job، خطا و metadata بسازید. از همان روز اول صوت اصلی و متن مرجعِ نمونه‌ها را نگه دارید تا بعداً مقایسهٔ providerها ممکن باشد.

### دستیار زنده یا محصول تماس

پیش از هر خرید، یک پایلوت realtime با گفتار واقعی اجرا کنید. معیار اصلی را فقط WER نگذارید؛ latency، revision rate، reconnect و finalization latency را هم ثبت کنید. اگر کاربر باید به partial اعتماد کند، اصلاح‌های آن برای تجربهٔ محصول از یک اختلاف کوچک در WER مهم‌تر می‌شود.

### آرشیو جلسه، مصاحبه یا پادکست

batch را با فایل‌های طولانی و چندگوینده بسنجید. برای هر فایل، متن مرجع و خروجی خام را نگه دارید و هزینهٔ اصلاح دستی را اندازه بگیرید. یک سرویس ارزان‌تر که زمان ویرایش را دو برابر می‌کند، لزوماً ارزان‌تر نیست.

### داده‌ای که نباید از زیرساخت خارج شود

اول سیاست داده را بنویسید، بعد مدل را انتخاب کنید. اگر self-host هنوز آماده نیست، مسیر موقت را با دادهٔ غیرحساس یا دادهٔ ناشناس بسنجید. در قرارداد داخلی محصول، امکان تعویض provider را حفظ کنید تا انتخاب امنیتی امروز به قفل فنی فردا تبدیل نشود.

تصمیم پیشنهادی امروز

برای بیشتر تیم‌ها، تصمیم درست در این مرحله «انتخاب یک برنده برای همیشه» نیست. یک مسیر ابری را برای رسیدن سریع به نمونهٔ قابل‌استفاده انتخاب کنید، اما ارزیابی را با دادهٔ واقعی خودتان قفل کنید و هم‌زمان یک مسیر self-host را به‌عنوان گزینهٔ پشتیبان بسنجید.

این تصمیم سه شرط دارد:

  • معیارها و متن‌های مرجع قبل از مقایسه ثابت باشند؛
  • خروجی خام، نسخهٔ مدل، تاریخ، هزینه و شرایط اجرا ثبت شود؛
  • کد محصول از provider جدا بماند و امکان مهاجرت حفظ شود.

اگر فعلاً فقط به چند فایل آزمایشی دسترسی دارید، نتیجه را «پیشنهاد اولیه» بنامید. benchmark کوچک بهتر از حدس است، اما برای تعمیم به همهٔ لهجه‌ها، نویزها، نام‌ها و طول فایل‌ها کافی نیست.

محدودیت نتیجه‌ها

آزمایش‌های این مجموعه قرار نیست با یک عدد، همهٔ سرویس‌ها را رتبه‌بندی کنند. کیفیت فارسی با نوع فایل، گوینده، نویز، کدسوئیچینگ و روش نرمال‌سازی تغییر می‌کند. بخشی از مسیر benchmark هنوز به credential و اجرای تکرارشوندهٔ providerها نیاز دارد؛ بنابراین هرجا دادهٔ کافی نداریم، عددی جعل نمی‌کنیم.

برای شروع، مقالهٔ مقایسهٔ سرویس‌ها و مدل‌های تبدیل گفتار فارسی (https://getmirza.ir/blog/posts/persian-speech-to-text-services-۲۰۲۶) را کنار این راهنما بخوانید و بعد یک مجموعهٔ کوچک اما ثابت از فایل‌های خودتان بسازید. تصمیم نهایی باید از همان فایل‌ها بیرون بیاید، نه از جدول‌های عمومی‌ای که سناریوی محصول شما را نمی‌شناسند.

No comments yet