مدل ارزان‌تر واقعاً چقدر می‌ارزد؟ هزینهٔ API را با زمان اصلاح جمع بزنیم

برای انتخاب مدلِ استخراج اطلاعات فاکتور، هزینهٔ هر خروجی قابل‌استفاده را بسنجید، نه فقط هزینهٔ تولید آن. یک اسکریپت ساده نشان می‌دهد چگونه چند دقیقه اصلاح انسانی می‌تواند صرفه‌جویی API را از بین ببرد.

برای سارا، توسعه‌دهندهٔ سامانهٔ ثبت فاکتور، معیار انتخاب مدل باید «هزینهٔ هر فاکتور قابل‌ثبت» باشد، نه صرفاً نرخ API. اگر مدل ارزان‌تر وقت بیشتری از اپراتور بگیرد، ممکن است در مجموع گران‌تر تمام شود. در این راهنما یک آزمایش جفت‌شده و اسکریپت قابل‌اجرا می‌سازیم که هزینهٔ تولید و اصلاح را روی همان فاکتورها جمع می‌زند.

اول تعریف کنید چه خروجی‌ای قابل‌ثبت است

مسئله را محدود نگه دارید: استخراج شمارهٔ فاکتور، تاریخ و مبلغ نهایی از متن آمادهٔ فاکتور به JSON. OCR و کیفیت تصویر خارج از این آزمایش‌اند. خروجی زمانی قابل‌ثبت است که JSON معتبر باشد و هر سه فیلد، پس از یکسان‌سازی قالب تاریخ و جداکنندهٔ مبلغ، با مرجع تأییدشده تطابق داشته باشند. JSON معتبر به‌تنهایی موفقیت نیست؛ مبلغ اشتباه در یک ساختار درست همچنان خطاست.

یک مجموعهٔ نماینده از فاکتورهای واقعیِ مجاز برای آزمایش بردارید و هر دو مدل را با همان ورودی‌ها، دستور استخراج و قواعد پذیرش اجرا کنید. برای هر پاسخ، هزینهٔ واقعی درخواست و زمان اصلاح تا رسیدن به مرجع را ثبت کنید. اگر بررسی همهٔ پاسخ‌ها اجباری است، زمان بررسی پاسخ‌های درست را هم اندازه بگیرید؛ در مثال زیر این زمان را برای هر دو گزینه برابر فرض کرده‌ایم و از مقایسه کنار گذاشته‌ایم. راهنمای Evals در منابع، مرجع طراحی ارزیابی مبتنی بر داده و معیار است، نه مدرکی برای نتیجهٔ عددی این مثال.

فرمول: هزینهٔ تولید به‌علاوهٔ هزینهٔ بازکاری

اگر همهٔ خروجی‌ها در نهایت قابل‌استفاده شوند، هزینهٔ هر فاکتور برابر است با «مجموع هزینهٔ API + مجموع دقیقه‌های اصلاح × هزینهٔ هر دقیقهٔ نیروی انسانی»، تقسیم بر تعداد فاکتورها. هزینهٔ نیروی انسانی را با یک واحد پول مشترک محاسبه کنید و هزینه‌های مرتبط کارفرما را هم، اگر در تصمیم مؤثرند، منظور کنید. زمان پاسخ‌گویی مدل و انتظار در صف در این فرمول قیمت‌گذاری نشده‌اند؛ اگر مهلت ثبت دارید، آن‌ها را به‌عنوان شرط پذیرش جداگانه بسنجید.

نرخ توکن فقط یکی از ورودی‌هاست. برای دادهٔ واقعی، هزینهٔ هر درخواست را مطابق مدل و شیوهٔ مصرف از گزارش مصرف یا صورت‌حساب استخراج کنید؛ طول پاسخ، ورودی کش‌شده و فراخوانی‌های تکراری می‌توانند هزینه را تغییر دهند. صفحهٔ رسمی قیمت‌گذاری OpenAI نمونه‌ای از تفکیک نرخ‌هاست. قیمت‌های ۰٫۰۰۱ و ۰٫۰۰۴ دلار در مثال بعد صرفاً فرض آموزشی برای هزینهٔ کل یک درخواست‌اند و نرخ هیچ محصولی نیستند.

مثال قابل‌اجرا: صرفه‌جویی API در برابر چهار دقیقه اصلاح بیشتر

ورودی نمونه داخل کد قرار دارد: برای ده فاکتور یکسان، مدل cheap سه خروجی نیازمند اصلاح و مدل premium یک خروجی نیازمند اصلاح دارد. اصلاح هر خروجی دو دقیقه طول می‌کشد و هر دقیقهٔ کار ۰٫۳۰ دلار هزینه دارد. فهرست‌ها، دقیقهٔ اصلاح فاکتورهای ۱ تا ۱۰ هستند؛ صفر یعنی اصلاح لازم نبوده است. کد را با نام compare_cost.py ذخیره کنید؛ فقط به Python 3 و کتابخانهٔ استاندارد نیاز دارد.

```python
from decimal import Decimal

# Synthetic inputs; these are not vendor prices or measured results.
D = Decimal
labor_per_minute = D('0.30')
models = {
'cheap': {
'api_costs_usd': ['0.001'] * 10,
'repair_minutes': [0, 2, 0, 0, 2, 0, 0, 2, 0, 0],
},
'premium': {
'api_costs_usd': ['0.004'] * 10,
'repair_minutes': [0, 0, 0, 0, 0, 0, 0, 2, 0, 0],
},
}

counts = {len(row['api_costs_usd']) for row in models.values()}
assert len(counts) == 1 and next(iter(counts)) > 0

totals = {}
for name, row in models.items():
n = len(row['api_costs_usd'])
assert len(row['repair_minutes']) == n
assert all(x >= 0 for x in row['repair_minutes'])
api_costs = [D(x) for x in row['api_costs_usd']]
assert all(x >= 0 for x in api_costs)
api = sum(api_costs, D('0'))
minutes = sum((D(str(x)) for x in row['repair_minutes']), D('0'))
repair = minutes * labor_per_minute
total = api + repair
totals[name] = total
print(f'{name}: api=${api:.2f}, repair=${repair:.2f}, '
f'total=${total:.2f}, per_usable=${total / n:.3f}')

print(f'premium_savings_on_batch=${totals["cheap"] - totals["premium"]:.2f}')
```

```bash
python3 compare_cost.py
```

خروجی مورد انتظار زیر است. Decimal برای حساب ده‌دهی هزینه‌ها استفاده شده تا نمایش ارقام پولی به خطاهای معمول ممیز شناور وابسته نباشد؛ این انتخاب، عدم‌قطعیت داده‌های زمان‌سنجی یا نرخ خطا را برطرف نمی‌کند.

```other
cheap: api=$0.01, repair=$1.80, total=$1.81, per_usable=$0.181
premium: api=$0.04, repair=$0.60, total=$0.64, per_usable=$0.064
premium_savings_on_batch=$1.17
```

مدل cheap در API فقط ۰٫۰۳ دلار برای این ده فاکتور صرفه‌جویی کرده، اما چهار دقیقه کار اضافی، ۱٫۲۰ دلار هزینه ساخته است؛ بنابراین premium در این نمونه ۱٫۱۷ دلار ارزان‌تر تمام می‌شود. برای اجرای واقعی، هر مقدار api_costs_usd را با هزینهٔ همان درخواست و هر مقدار repair_minutes را با زمان اندازه‌گیری‌شده جایگزین کنید. درخواست‌های مجدد را هم در هزینه و زمان همان فاکتور جمع بزنید تا شکست‌ها از صورت‌حساب ناپدید نشوند.

مرز تصمیم و جایی که این روش اشتباه جواب می‌دهد

با فرض زمان اصلاح ثابت، مدل گران‌تر وقتی توجیه اقتصادی دارد که «کاهش احتمال اصلاح × هزینهٔ هر اصلاح» از افزایش هزینهٔ API بیشتر باشد. در این مثال، هر اصلاح ۰٫۶۰ دلار و افزایش هزینهٔ درخواست ۰٫۰۰۳ دلار است؛ پس کاهش نرخ اصلاح به اندازهٔ بیش از ۰٫۵ واحد درصد برای سربه‌سر شدن کافی است. این یک مرز محاسباتی تحت فرض‌های مثال است، نه نتیجهٔ آماری قابل‌اتکا از ده فاکتور. اگر خطاهای یک مدل سخت‌تر اصلاح می‌شوند، به‌جای این میان‌بر، همان زمان‌های واقعی را جمع بزنید.

مقایسهٔ تصمیم‌ساز میان سه گزینه است: مدل ارزان با اصلاح بیشتر، مدل گران با اصلاح کمتر، و مدل ارزان با یک اعتبارسنج و مسیر ارجاع. گزینهٔ سوم فقط وقتی ارزش دارد که هزینهٔ اعتبارسنج و ارجاع را هم بشمارید و نشان دهید خطاهای مهم را کشف می‌کند. کنترل قالب تاریخ یا جمع اقلام می‌تواند بعضی خطاها را پیدا کند، اما تضمین نمی‌کند مبلغ از فاکتور درست استخراج شده باشد. افزایش سرعت یا کاهش هزینه به قیمت عبور خطای مالی، پیروزی اقتصادی محسوب نمی‌شود.

حالت شکست اصلی، خطای کشف‌نشده است: اپراتور پاسخ اشتباه را می‌پذیرد، زمان اصلاح صفر ثبت می‌شود و مدل ضعیف به‌اشتباه اقتصادی به نظر می‌رسد. با ممیزی مستقلِ نمونه‌ای از خروجی‌های پذیرفته‌شده این خطر را بررسی کنید. اگر خروجی غیرقابل‌اصلاح، تأخیر بحرانی یا خسارت مالی محتمل دارید، این فرمول به‌تنهایی ابزار انتخاب مناسبی نیست؛ ابتدا سقف خطا و قواعد توقف را تعیین کنید. همچنین دقیقهٔ آزادشده الزاماً کاهش پرداخت نقدی نیست؛ ممکن است ارزش آن افزایش ظرفیت تیم باشد، نه کاهش حقوق.

اقدام بعدی سارا روشن است: روی مجموعه‌ای بزرگ‌تر و نماینده، هزینه و زمان هر دو مدل را به‌صورت جفت‌شده ثبت کند، موارد شکست را نگه دارد و هزینهٔ کل را کنار نرخ خطای کشف‌نشده و زمان تحویل گزارش دهد. فقط مدلی را انتخاب کند که ابتدا شرط کیفیت را پاس می‌کند و سپس در هزینهٔ رسیدن به خروجی قابل‌ثبت مزیت دارد؛ نه مدلی که صرفاً عدد کوچک‌تری در جدول قیمت توکن دارد.

منابع

OpenAI API Pricing
https://openai.com/api/pricing/

OpenAI — Evals guide
https://platform.openai.com/docs/guides/evals

Python — decimal: Decimal fixed-point and floating-point arithmetic
https://docs.python.org/3/library/decimal.html

No comments yet