लागत और सीमाएँ

API लागत calculator: tokens, cache और request volume

Token rates और request volume से forecast बनाना, cache hit को अलग रखना और accepted workflow की वास्तविक लागत जाँचना।

BT

BetterToken

संपादकीय टीम
3 मिनट पढ़ने में

Cost calculator का काम एक निश्चित बिल बताना नहीं, assumptions को साफ़ करना है। Current model rates, input tokens, output tokens, cached tokens और requests की संख्या अलग रखें। Prices और model availability dynamic हैं; configuration या budget approval के दिन BetterToken pricing देखें।

अपने API requests के लिए BetterToken API documentation से setup जाँचें और test के बाद Dashboard में model, input, output, cache tokens और charge मिलाएँ। Dashboard forecast का विकल्प नहीं, उसका actual-data check है।

calculator को कौन-से data चाहिए

हर model के लिए input rate, cache-hit rate, output rate, average input/output tokens और period में requests चाहिए। Currency conversion, taxes, minimum top-up या fixed team cost को token formula में छिपाने के बजाय अलग line में रखें।

universal formula

total = requests × (
  uncached_input_tokens × input_rate
  + cached_input_tokens × cache_rate
  + output_tokens × output_rate
)

Rates को per-token या per-million-token unit में एक समान करें। Cached tokens input से अलग billed हो सकते हैं; उन्हें सामान्य input में दोबारा न जोड़ें।

copyable Python calculator

def estimate(n, input_tokens, output_tokens, cache_ratio, input_rate, cache_rate, output_rate):
    cached = input_tokens * cache_ratio
    uncached = input_tokens - cached
    return n * (uncached * input_rate + cached * cache_rate + output_tokens * output_rate)

यह estimate है, invoice नहीं। API units और current rates भरने से पहले pricing source पढ़ें।

cache hit rate को कैसे लें

Cache hit को 0% या 100% मानना अक्सर गलत है। Stable system prompt या shared prefix hit हो सकता है, लेकिन tool results, history और files बदलने पर prefix miss हो सकता है। पहले conservative estimate बनाएँ, फिर Dashboard के वास्तविक calls से assumption सुधारें।

एक संख्या के बजाय तीन scenarios

Basic scenario में expected volume और conservative cache लें। Favorable scenario में वही workload अधिक reuse के साथ रखें। Worst case में cache कम, output अधिक और retries शामिल करें। Budget discussion में तीनों assumptions लिखें; केवल सबसे कम figure न दिखाएँ।

agent workflow की लागत

Agent के लिए accepted task की लागत देखें: planning, tool calls, retries और final output सभी जोड़ें। एक long request की तुलना में कई छोटे verified requests सस्ते या महंगे हो सकते हैं; workload पर मापें। Infinite concurrency, fixed cache saving या universal lowest price का दावा न करें।

forecast को तथ्य से मिलाएँ और सीमाएँ

एक safe test run के बाद timestamp, model और usage fields से Dashboard record मिलाएँ। Actual charge अनुमान से अधिक हो तो model, token units, cache assumption, output length और retries जाँचें। Calculator unknown tool-side fees, future price changes, failed side effects या हर provider की billing rule नहीं बताता।

FAQ

Cache न हो तो cache ratio 0 रखें। Month का estimate daily/weekly request volume से बनता है। Cached token केवल तभी अलग लें जब provider का usage record उसे अलग दिखाए। वास्तविक charge अधिक हो तो पहले current rate और request record देखें, अनुमान को invoice न मानें।

अपना LLM वर्कफ़्लो बेहतर बनाना चाहते हैं?

एक API से मॉडल जोड़ें, कुंजियाँ प्रबंधित करें और AI खर्च नियंत्रित करें।