PERSIAN ASR / OPEN BENCHMARK
کدام مسیر برای تبدیل گفتار فارسی بهتر است؟
یک مقایسهی زنده و قابل بازتولید از سرویسهای API و مدلهای self-hosted؛ با فایلهای واقعی، متن مرجع، و معیارهایی که بتوانیم دوباره اجرا و نقدشان کنیم.
01 / COST × QUALITY
هزینه کمتر همیشه کیفیت بهتر نیست
هر نقطه میانگین یک مسیر روی ۲۰ فایل است. محور هزینه لگاریتمی و بر مبنای دلار بهازای هر دقیقهٔ صوت است؛ محور عمودی WER را به درصد نشان میدهد و پایینتر بهتر است. هزینهٔ self-hosted با proxy کلاس ۱۶GB رانپاد بر اساس زمان اجرا برآورد شده است. نرخ مرجع RunPod
02 / DETAIL TABLE
جدول جزئیات
مقادیر خالی یعنی آن معیار از endpoint یا مدل دریافت نشده، نه اینکه صفر بوده است.
| موفق | RTF | ||||||||
|---|---|---|---|---|---|---|---|---|---|
| 1Sonioxمدل در خروجی ثبت نشده | api | 20/20 | 27.3% | 9.3% | 4382 ms | 0.5348 | 11.48 تخمینی | $0.00167 | ok |
| 2ElevenLabsمدل در خروجی ثبت نشده | api | 20/20 | 29.3% | 9.5% | 3226 ms | 0.2171 | 14.1 تخمینی | $0.00367 | ok |
| 3Speechmaticsمدل در خروجی ثبت نشده | api | 20/20 | 29.7% | 11.2% | 3146 ms | 0.4068 | 17.72 تخمینی | $0.00400 | ok |
| 4OpenAI 4o miniمدل در خروجی ثبت نشده | api | 20/20 | 39.2% | 14.3% | 1328 ms | 0.1037 | 32.05 تخمینی | $0.00300 | ok |
| 5OpenAI Whisperمدل در خروجی ثبت نشده | api | 20/20 | 41.1% | 14.4% | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | ok |
| —openrouter:typesafe/jev-routertypesafe/jev-router | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:perceptron/perceptron-mk1.5perceptron/perceptron-mk1.5 | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:xiaomi/mimo-v2.6-pro-ultraspeedxiaomi/mimo-v2.6-pro-ultraspeed | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:xiaomi/mimo-v2.6-flashxiaomi/mimo-v2.6-flash | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:xiaomi/mimo-v2.6-proxiaomi/mimo-v2.6-pro | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:qwen/qwen3.8-omni-flashqwen/qwen3.8-omni-flash | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:meta/muse-spark-1.3-contributormeta/muse-spark-1.3-contributor | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:meta/muse-spark-1.3meta/muse-spark-1.3 | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:google/gemini-3.8-flashgoogle/gemini-3.8-flash | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:google/gemini-3.8-flash:batchgoogle/gemini-3.8-flash:batch | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:meta/muse-spark-1.2-contributormeta/muse-spark-1.2-contributor | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:google/gemini-3.7-flashgoogle/gemini-3.7-flash | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:google/gemini-3.7-flash:batchgoogle/gemini-3.7-flash:batch | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:meta/muse-spark-1.2meta/muse-spark-1.2 | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:thinkingmachines/inkling-smallthinkingmachines/inkling-small | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:thinkingmachines/inkling-small:freethinkingmachines/inkling-small:free | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:google/gemini-3.6-flashgoogle/gemini-3.6-flash | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:google/gemini-3.6-flash:batchgoogle/gemini-3.6-flash:batch | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:google/gemini-3.5-flash-litegoogle/gemini-3.5-flash-lite | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:google/gemini-3.5-flash-lite:batchgoogle/gemini-3.5-flash-lite:batch | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:thinkingmachines/inklingthinkingmachines/inkling | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:thinkingmachines/inkling:freethinkingmachines/inkling:free | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:openrouter/auto-betaopenrouter/auto-beta | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:meta/muse-spark-1.1meta/muse-spark-1.1 | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:google/gemini-3.5-flashgoogle/gemini-3.5-flash | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:google/gemini-3.5-flash:batchgoogle/gemini-3.5-flash:batch | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:google/gemini-3.1-flash-litegoogle/gemini-3.1-flash-lite | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:google/gemini-3.1-flash-lite:batchgoogle/gemini-3.1-flash-lite:batch | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:nvidia/nemotron-3-nano-omni-30b-a3b-reasoning:freenvidia/nemotron-3-nano-omni-30b-a3b-reasoning:free | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:~google/gemini-pro-latest~google/gemini-pro-latest | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:~google/gemini-flash-latest~google/gemini-flash-latest | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:xiaomi/mimo-v2.5xiaomi/mimo-v2.5 | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:google/gemini-3.1-flash-lite-previewgoogle/gemini-3.1-flash-lite-preview | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:google/gemini-3.1-pro-preview-customtoolsgoogle/gemini-3.1-pro-preview-customtools | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:google/gemini-3.1-pro-previewgoogle/gemini-3.1-pro-preview | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:google/gemini-3.1-pro-preview:batchgoogle/gemini-3.1-pro-preview:batch | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:openai/gpt-audioopenai/gpt-audio | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:openai/gpt-audio-miniopenai/gpt-audio-mini | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:google/gemini-3-flash-previewgoogle/gemini-3-flash-preview | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:google/gemini-3-flash-preview:batchgoogle/gemini-3-flash-preview:batch | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:mistralai/voxtral-small-24b-2507mistralai/voxtral-small-24b-2507 | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:google/gemini-2.5-flash-litegoogle/gemini-2.5-flash-lite | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:google/gemini-2.5-flash-lite:batchgoogle/gemini-2.5-flash-lite:batch | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:google/gemini-2.5-flashgoogle/gemini-2.5-flash | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:google/gemini-2.5-flash:batchgoogle/gemini-2.5-flash:batch | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:google/gemini-2.5-progoogle/gemini-2.5-pro | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:google/gemini-2.5-pro:batchgoogle/gemini-2.5-pro:batch | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:google/gemini-2.5-pro-previewgoogle/gemini-2.5-pro-preview | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —openrouter:openrouter/autoopenrouter/auto | marketplace | 0/20 | — | — | 2723 ms | 0.1956 | 16.93 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| 55OpenAI 4oمدل در خروجی ثبت نشده | api | 20/20 | 41.7% | 26.2% | 1642 ms | 0.1232 | 22.08 تخمینی | $0.00600 | ok |
| 56Groq Whisper largeمدل در خروجی ثبت نشده | api | 20/20 | 43.5% | 16.6% | 908 ms | 0.077 | 51.61 تخمینی | $0.00185 | ok |
| 57Groq Whisperمدل در خروجی ثبت نشده | api | 20/20 | 46.7% | 17.4% | 514 ms | 0.0377 | 105.79 تخمینی | $0.00067 | ok |
| —OpenAI diarizeمدل در خروجی ثبت نشده | api | 0/20 | — | — | 10271 ms | 0.6038 | 6.5 تخمینی | $0.00600 | نیازمند اجرای مجدد |
| —OpenAI audioمدل در خروجی ثبت نشده | api | 0/20 | — | — | 1799 ms | 0.1761 | 30.35 تخمینی | $0.00216 | نیازمند اجرای مجدد |
| —geminiمدل در خروجی ثبت نشده | api | 0/20 | — | — | — | — | — | نامشخص | نیازمند اجرای مجدد |
| —speechmatics_standardمدل در خروجی ثبت نشده | api | 0/0 | — | — | — | — | — | نامشخص | نیازمند اجرای مجدد |
| —speechmatics_enhancedمدل در خروجی ثبت نشده | api | 0/0 | — | — | — | — | — | نامشخص | نیازمند اجرای مجدد |
| —speechmatics_melia1مدل در خروجی ثبت نشده | api | 0/0 | — | — | — | — | — | نامشخص | نیازمند اجرای مجدد |
| —grokمدل در خروجی ثبت نشده | api | 0/20 | — | — | — | — | — | نامشخص | نیازمند اجرای مجدد |
| —whisperمدل در خروجی ثبت نشده | model | 0/20 | — | — | — | — | — | نامشخص | نیازمند اجرای مجدد |
| —whisper_colab_baseمدل در خروجی ثبت نشده | model | 0/20 | — | — | — | — | — | $0.00034 | نیازمند اجرای مجدد |
| —whisper_colab_smallمدل در خروجی ثبت نشده | model | 0/20 | — | — | — | — | — | $0.00054 | نیازمند اجرای مجدد |
| —whisper_colab_mediumمدل در خروجی ثبت نشده | model | 0/20 | — | — | — | — | — | $0.00085 | نیازمند اجرای مجدد |
| —whisper_colab_large_v3مدل در خروجی ثبت نشده | model | 0/20 | — | — | — | — | — | $0.00174 | نیازمند اجرای مجدد |
| —qwenمدل در خروجی ثبت نشده | model | 0/20 | — | — | — | — | — | نامشخص | نیازمند اجرای مجدد |
| —qwen3_asr_0_6bمدل در خروجی ثبت نشده | model | 0/20 | — | — | — | — | — | $0.00167 | نیازمند اجرای مجدد |
| —qwen3_asr_1_7bمدل در خروجی ثبت نشده | model | 0/20 | — | — | — | — | — | نامشخص | نیازمند اجرای مجدد |
| —qwen_openrouterمدل در خروجی ثبت نشده | api | 0/20 | — | — | — | — | — | نامشخص | نیازمند اجرای مجدد |
| —gemini_openrouterمدل در خروجی ثبت نشده | api | 0/20 | — | — | — | — | — | نامشخص | نیازمند اجرای مجدد |
| —openai_audio_openrouterمدل در خروجی ثبت نشده | api | 0/20 | — | — | — | — | — | نامشخص | نیازمند اجرای مجدد |
| —shenavaمدل در خروجی ثبت نشده | model | 0/20 | — | — | — | — | — | $0.00129 | نیازمند اجرای مجدد |
| —salisمدل در خروجی ثبت نشده | product | 0/20 | — | — | — | — | — | نامشخص | نیازمند اجرای مجدد |
| —Vira Avangaarمدل در خروجی ثبت نشده | api | 0/20 | — | — | 6988 ms | 1.0658 | — | نامشخص | نیازمند اجرای مجدد |
| —sahabمدل در خروجی ثبت نشده | marketplace | 0/20 | — | — | — | — | — | نامشخص | نیازمند اجرای مجدد |
03 / OFFICIAL PRICING
قیمت را با حالت اجرا بخوانیم
این نرخها از صفحهٔ رسمی سرویسها گرفته شدهاند. هزینهٔ نمودار بر اساس همین نرخ و طول واقعی فایلها محاسبه شده؛ تعرفهٔ رایگان، مالیات، تخفیف حجمی و قرارداد Enterprise جداست.
| سرویس | حالت | کیفیت / مدل | نرخ استاندارد / تخمین | منبع |
|---|---|---|---|---|
| Soniox | Batch / async | stt-async-v4 | $0.00167 / دقیقه | صفحهٔ قیمت |
| Soniox | Realtime | stt-rt-v5 | $0.00200 / دقیقه | صفحهٔ قیمت |
| Speechmatics | Batch | Melia 1 (multilingual) | $0.00215 / دقیقه | صفحهٔ قیمت |
| Speechmatics | Batch | Standard | $0.00400 / دقیقه | صفحهٔ قیمت |
| Speechmatics | Batch | Enhanced | $0.00667 / دقیقه | صفحهٔ قیمت |
| Speechmatics | Realtime | Standard / Enhanced | $0.00400 / $0.00717 / دقیقه | صفحهٔ قیمت |
| OpenAI | File | gpt-4o-transcribe | $0.006 / minute | صفحهٔ قیمت |
| OpenAI | File | gpt-4o-mini-transcribe | $0.003 / minute | صفحهٔ قیمت |
| OpenAI | Audio native | gpt-audio-mini | حدود $0.00216 / دقیقه (تخمینی) | صفحهٔ قیمت |
| ElevenLabs | File / batch | Scribe v2 | $0.00367 / دقیقه | صفحهٔ قیمت |
| Vira Avangaar | File / realtime | default | نرخ عمومی قابل استناد پیدا نشد؛ از داشبورد API خوانده شود | صفحهٔ قیمت |
ردیف Speechmatics در اجرای فعلی benchmark، Batch Standard است؛ بنابراین عدد نمودار آن $0.24 در ساعت است. Melia 1 و Enhanced گزینههای جدا هستند و نباید با نتیجهٔ Standard یکی فرض شوند. برآورد gpt-audio-mini از نرخ رسمی $0.60/M توکن ورودی و $2.40/M توکن خروجی، با فرض ۵۰ توکن صوتی در ثانیه و ۱۵۰ توکن متن در دقیقه ساخته شده است؛ این عدد جایگزین usage واقعی API نیست.
04 / HOW TO READ IT
روششناسی و پوشش تست
این صفحه عمداً بین «مدل جواب داد» و «مدل هنوز قابل آزمایش نبود» تفاوت میگذارد.
داده
۲۰ فایل واقعی با گفتار رسمی و محاورهای، لهجه، نویز، چندگوینده، کلمات انگلیسی، تماس تلفنی و سه نمونهی بالای یک دقیقه.
معیار
WER در سطح واژه و CER در سطح نویسه محاسبه شدهاند؛ کنارشان latency، RTF، throughput، هزینه و وضعیت endpoint ثبت شده است.
وضعیت
نتایج موفق از میانگین کیفیت استفاده میکنند. خطا، quota و adapter ناقص حذف نشدهاند و برای ادامهی benchmark قابل ردیابی ماندهاند.
یادداشت اصلاح داده: در بازبینی ۲۴ سپتامبر، mapping فایلهای صوتی PSRB با manifest رسمی تطبیق داده شد و فایلهای جابهجا اصلاح شدند. امتیازها با نرمالسازی نیمفاصله، علائم و گونههای نویسهٔ فارسی محاسبه شدهاند. Soniox، OpenAI، Groq، Speechmatics و ElevenLabs اکنون روی نسخهٔ اصلاحشده اجرا شدهاند؛ نتایج self-hosted قدیمی تا اجرای مجدد جدا از این جدول نهایی نگه داشته میشوند.
برای شناخت تفاوت API، مدلهای خودمیزبان و مسیر انتخاب هر سرویس، راهنمای مدلها و سرویسهای ASR فارسی را بخوانید.