PERSIAN ASR / OPEN BENCHMARK

کدام مسیر برای تبدیل گفتار فارسی بهتر است؟

یک مقایسه‌ی زنده و قابل بازتولید از سرویس‌های API و مدل‌های self-hosted؛ با فایل‌های واقعی، متن مرجع، و معیارهایی که بتوانیم دوباره اجرا و نقدشان کنیم.

۷۹مسیر مدل/سرویس
۲۰فایل صوتی
۱۶۰اجرای موفق
۸۳خطا یا محدودیت

01 / COST × QUALITY

هزینه کمتر همیشه کیفیت بهتر نیست

هر نقطه میانگین یک مسیر روی ۲۰ فایل است. محور هزینه لگاریتمی و بر مبنای دلار به‌ازای هر دقیقهٔ صوت است؛ محور عمودی WER را به درصد نشان می‌دهد و پایین‌تر بهتر است. هزینهٔ self-hosted با proxy کلاس ۱۶GB ران‌پاد بر اساس زمان اجرا برآورد شده است. نرخ مرجع RunPod

نمایش مسیرها
شاخص عمودی
شروع محلی و حفظ دادهWhisper Colab، Shenava، Qwen 0.6B
Realtime و API چندزبانهSoniox، Speechmatics، ElevenLabs
دقت فایل و تحلیل عمیقgpt-4o-transcribe، Whisper large-v3
برندهٔ کیفیت★ Soniox27.3٪ WER
بهترین توازن هزینه/کیفیتSoniox$0.0017 / دقیقه
سریع‌ترین پاسخGroq Whisper514 ms
برای متن فارسی با کیفیت بالانقاط پایین‌تر را مقایسه کن؛ WER و CER کمتر بهتر است.Soniox / Speechmatics
برای محصول realtimeاین نمودار به‌تنهایی کافی نیست؛ TTFT و partialها را هم ببین.Soniox
برای هزینه و سرعتنقاط سمت چپ و زمان پاسخ پایین‌تر را بررسی کن.Groq Whisper
مدل‌های حاضر در نمودار8 مسیر معتبر؛ هزینه‌های کمتر از $0.001 در لبهٔ چپ فشرده شده‌اند
دقیق‌تر و اقتصادی‌تر$0.001 / دقیقه$0.003$0.01 / دقیقه0%56%هزینهٔ صوت (USD/دقیقه، مقیاس لگاریتمی)WER (%)، کمتر بهترOpenAI Whisper: WER 41.1% / $0.00600 per minuteOpenAI WhisperOpenAI 4o: WER 41.7% / $0.00600 per minuteOpenAI 4oOpenAI 4o mini: WER 39.2% / $0.00300 per minuteOpenAI 4o miniGroq Whisper: WER 46.7% / $0.00067 per minuteGroq WhisperGroq Whisper large: WER 43.5% / $0.00185 per minuteGroq Whisper large · outlierSoniox: WER 27.3% / $0.00167 per minuteSoniox ★Speechmatics: WER 29.7% / $0.00400 per minuteSpeechmaticsElevenLabs: WER 29.3% / $0.00367 per minuteElevenLabs
API self-hosted / Colab هزینه نامشخص outlier: Groq Whisper
OpenAI WhisperOpenAI 4oOpenAI 4o miniGroq WhisperGroq Whisper largeSonioxSpeechmaticsElevenLabs

02 / DETAIL TABLE

جدول جزئیات

مقادیر خالی یعنی آن معیار از endpoint یا مدل دریافت نشده، نه اینکه صفر بوده است.

موفقRTF
1Sonioxمدل در خروجی ثبت نشدهapi20/2027.3%9.3%4382 ms0.534811.48 تخمینی$0.00167ok
2ElevenLabsمدل در خروجی ثبت نشدهapi20/2029.3%9.5%3226 ms0.217114.1 تخمینی$0.00367ok
3Speechmaticsمدل در خروجی ثبت نشدهapi20/2029.7%11.2%3146 ms0.406817.72 تخمینی$0.00400ok
4OpenAI 4o miniمدل در خروجی ثبت نشدهapi20/2039.2%14.3%1328 ms0.103732.05 تخمینی$0.00300ok
5OpenAI Whisperمدل در خروجی ثبت نشدهapi20/2041.1%14.4%2723 ms0.195616.93 تخمینی$0.00600ok
—openrouter:typesafe/jev-routertypesafe/jev-routermarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:perceptron/perceptron-mk1.5perceptron/perceptron-mk1.5marketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:xiaomi/mimo-v2.6-pro-ultraspeedxiaomi/mimo-v2.6-pro-ultraspeedmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:xiaomi/mimo-v2.6-flashxiaomi/mimo-v2.6-flashmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:xiaomi/mimo-v2.6-proxiaomi/mimo-v2.6-promarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:qwen/qwen3.8-omni-flashqwen/qwen3.8-omni-flashmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:meta/muse-spark-1.3-contributormeta/muse-spark-1.3-contributormarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:meta/muse-spark-1.3meta/muse-spark-1.3marketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:google/gemini-3.8-flashgoogle/gemini-3.8-flashmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:google/gemini-3.8-flash:batchgoogle/gemini-3.8-flash:batchmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:meta/muse-spark-1.2-contributormeta/muse-spark-1.2-contributormarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:google/gemini-3.7-flashgoogle/gemini-3.7-flashmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:google/gemini-3.7-flash:batchgoogle/gemini-3.7-flash:batchmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:meta/muse-spark-1.2meta/muse-spark-1.2marketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:thinkingmachines/inkling-smallthinkingmachines/inkling-smallmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:thinkingmachines/inkling-small:freethinkingmachines/inkling-small:freemarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:google/gemini-3.6-flashgoogle/gemini-3.6-flashmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:google/gemini-3.6-flash:batchgoogle/gemini-3.6-flash:batchmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:google/gemini-3.5-flash-litegoogle/gemini-3.5-flash-litemarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:google/gemini-3.5-flash-lite:batchgoogle/gemini-3.5-flash-lite:batchmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:thinkingmachines/inklingthinkingmachines/inklingmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:thinkingmachines/inkling:freethinkingmachines/inkling:freemarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:openrouter/auto-betaopenrouter/auto-betamarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:meta/muse-spark-1.1meta/muse-spark-1.1marketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:google/gemini-3.5-flashgoogle/gemini-3.5-flashmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:google/gemini-3.5-flash:batchgoogle/gemini-3.5-flash:batchmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:google/gemini-3.1-flash-litegoogle/gemini-3.1-flash-litemarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:google/gemini-3.1-flash-lite:batchgoogle/gemini-3.1-flash-lite:batchmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:nvidia/nemotron-3-nano-omni-30b-a3b-reasoning:freenvidia/nemotron-3-nano-omni-30b-a3b-reasoning:freemarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:~google/gemini-pro-latest~google/gemini-pro-latestmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:~google/gemini-flash-latest~google/gemini-flash-latestmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:xiaomi/mimo-v2.5xiaomi/mimo-v2.5marketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:google/gemini-3.1-flash-lite-previewgoogle/gemini-3.1-flash-lite-previewmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:google/gemini-3.1-pro-preview-customtoolsgoogle/gemini-3.1-pro-preview-customtoolsmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:google/gemini-3.1-pro-previewgoogle/gemini-3.1-pro-previewmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:google/gemini-3.1-pro-preview:batchgoogle/gemini-3.1-pro-preview:batchmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:openai/gpt-audioopenai/gpt-audiomarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:openai/gpt-audio-miniopenai/gpt-audio-minimarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:google/gemini-3-flash-previewgoogle/gemini-3-flash-previewmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:google/gemini-3-flash-preview:batchgoogle/gemini-3-flash-preview:batchmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:mistralai/voxtral-small-24b-2507mistralai/voxtral-small-24b-2507marketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:google/gemini-2.5-flash-litegoogle/gemini-2.5-flash-litemarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:google/gemini-2.5-flash-lite:batchgoogle/gemini-2.5-flash-lite:batchmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:google/gemini-2.5-flashgoogle/gemini-2.5-flashmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:google/gemini-2.5-flash:batchgoogle/gemini-2.5-flash:batchmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:google/gemini-2.5-progoogle/gemini-2.5-promarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:google/gemini-2.5-pro:batchgoogle/gemini-2.5-pro:batchmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:google/gemini-2.5-pro-previewgoogle/gemini-2.5-pro-previewmarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
—openrouter:openrouter/autoopenrouter/automarketplace0/20——2723 ms0.195616.93 تخمینی$0.00600نیازمند اجرای مجدد
55OpenAI 4oمدل در خروجی ثبت نشدهapi20/2041.7%26.2%1642 ms0.123222.08 تخمینی$0.00600ok
56Groq Whisper largeمدل در خروجی ثبت نشدهapi20/2043.5%16.6%908 ms0.07751.61 تخمینی$0.00185ok
57Groq Whisperمدل در خروجی ثبت نشدهapi20/2046.7%17.4%514 ms0.0377105.79 تخمینی$0.00067ok
—OpenAI diarizeمدل در خروجی ثبت نشدهapi0/20——10271 ms0.60386.5 تخمینی$0.00600نیازمند اجرای مجدد
—OpenAI audioمدل در خروجی ثبت نشدهapi0/20——1799 ms0.176130.35 تخمینی$0.00216نیازمند اجرای مجدد
—geminiمدل در خروجی ثبت نشدهapi0/20—————نامشخصنیازمند اجرای مجدد
—speechmatics_standardمدل در خروجی ثبت نشدهapi0/0—————نامشخصنیازمند اجرای مجدد
—speechmatics_enhancedمدل در خروجی ثبت نشدهapi0/0—————نامشخصنیازمند اجرای مجدد
—speechmatics_melia1مدل در خروجی ثبت نشدهapi0/0—————نامشخصنیازمند اجرای مجدد
—grokمدل در خروجی ثبت نشدهapi0/20—————نامشخصنیازمند اجرای مجدد
—whisperمدل در خروجی ثبت نشدهmodel0/20—————نامشخصنیازمند اجرای مجدد
—whisper_colab_baseمدل در خروجی ثبت نشدهmodel0/20—————$0.00034نیازمند اجرای مجدد
—whisper_colab_smallمدل در خروجی ثبت نشدهmodel0/20—————$0.00054نیازمند اجرای مجدد
—whisper_colab_mediumمدل در خروجی ثبت نشدهmodel0/20—————$0.00085نیازمند اجرای مجدد
—whisper_colab_large_v3مدل در خروجی ثبت نشدهmodel0/20—————$0.00174نیازمند اجرای مجدد
—qwenمدل در خروجی ثبت نشدهmodel0/20—————نامشخصنیازمند اجرای مجدد
—qwen3_asr_0_6bمدل در خروجی ثبت نشدهmodel0/20—————$0.00167نیازمند اجرای مجدد
—qwen3_asr_1_7bمدل در خروجی ثبت نشدهmodel0/20—————نامشخصنیازمند اجرای مجدد
—qwen_openrouterمدل در خروجی ثبت نشدهapi0/20—————نامشخصنیازمند اجرای مجدد
—gemini_openrouterمدل در خروجی ثبت نشدهapi0/20—————نامشخصنیازمند اجرای مجدد
—openai_audio_openrouterمدل در خروجی ثبت نشدهapi0/20—————نامشخصنیازمند اجرای مجدد
—shenavaمدل در خروجی ثبت نشدهmodel0/20—————$0.00129نیازمند اجرای مجدد
—salisمدل در خروجی ثبت نشدهproduct0/20—————نامشخصنیازمند اجرای مجدد
—Vira Avangaarمدل در خروجی ثبت نشدهapi0/20——6988 ms1.0658—نامشخصنیازمند اجرای مجدد
—sahabمدل در خروجی ثبت نشدهmarketplace0/20—————نامشخصنیازمند اجرای مجدد

03 / OFFICIAL PRICING

قیمت را با حالت اجرا بخوانیم

این نرخ‌ها از صفحهٔ رسمی سرویس‌ها گرفته شده‌اند. هزینهٔ نمودار بر اساس همین نرخ و طول واقعی فایل‌ها محاسبه شده؛ تعرفهٔ رایگان، مالیات، تخفیف حجمی و قرارداد Enterprise جداست.

سرویسحالتکیفیت / مدلنرخ استاندارد / تخمینمنبع
SonioxBatch / asyncstt-async-v4$0.00167 / دقیقهصفحهٔ قیمت
SonioxRealtimestt-rt-v5$0.00200 / دقیقهصفحهٔ قیمت
SpeechmaticsBatchMelia 1 (multilingual)$0.00215 / دقیقهصفحهٔ قیمت
SpeechmaticsBatchStandard$0.00400 / دقیقهصفحهٔ قیمت
SpeechmaticsBatchEnhanced$0.00667 / دقیقهصفحهٔ قیمت
SpeechmaticsRealtimeStandard / Enhanced$0.00400 / $0.00717 / دقیقهصفحهٔ قیمت
OpenAIFilegpt-4o-transcribe$0.006 / minuteصفحهٔ قیمت
OpenAIFilegpt-4o-mini-transcribe$0.003 / minuteصفحهٔ قیمت
OpenAIAudio nativegpt-audio-miniحدود $0.00216 / دقیقه (تخمینی)صفحهٔ قیمت
ElevenLabsFile / batchScribe v2$0.00367 / دقیقهصفحهٔ قیمت
Vira AvangaarFile / realtimedefaultنرخ عمومی قابل استناد پیدا نشد؛ از داشبورد API خوانده شودصفحهٔ قیمت

ردیف Speechmatics در اجرای فعلی benchmark، Batch Standard است؛ بنابراین عدد نمودار آن $0.24 در ساعت است. Melia 1 و Enhanced گزینه‌های جدا هستند و نباید با نتیجهٔ Standard یکی فرض شوند. برآورد gpt-audio-mini از نرخ رسمی $0.60/M توکن ورودی و $2.40/M توکن خروجی، با فرض ۵۰ توکن صوتی در ثانیه و ۱۵۰ توکن متن در دقیقه ساخته شده است؛ این عدد جایگزین usage واقعی API نیست.

04 / HOW TO READ IT

روش‌شناسی و پوشش تست

این صفحه عمداً بین «مدل جواب داد» و «مدل هنوز قابل آزمایش نبود» تفاوت می‌گذارد.

داده

۲۰ فایل واقعی با گفتار رسمی و محاوره‌ای، لهجه، نویز، چندگوینده، کلمات انگلیسی، تماس تلفنی و سه نمونه‌ی بالای یک دقیقه.

معیار

WER در سطح واژه و CER در سطح نویسه محاسبه شده‌اند؛ کنارشان latency، RTF، throughput، هزینه و وضعیت endpoint ثبت شده است.

وضعیت

نتایج موفق از میانگین کیفیت استفاده می‌کنند. خطا، quota و adapter ناقص حذف نشده‌اند و برای ادامه‌ی benchmark قابل ردیابی مانده‌اند.

یادداشت اصلاح داده: در بازبینی ۲۴ سپتامبر، mapping فایل‌های صوتی PSRB با manifest رسمی تطبیق داده شد و فایل‌های جابه‌جا اصلاح شدند. امتیازها با نرمال‌سازی نیم‌فاصله، علائم و گونه‌های نویسهٔ فارسی محاسبه شده‌اند. Soniox، OpenAI، Groq، Speechmatics و ElevenLabs اکنون روی نسخهٔ اصلاح‌شده اجرا شده‌اند؛ نتایج self-hosted قدیمی تا اجرای مجدد جدا از این جدول نهایی نگه داشته می‌شوند.