AI टोकन काउंटर और LLM लागत कैलकुलेटर।

टोकन काउंटर वह टूल है जो बताता है कि कोई टेक्स्ट किसी भाषा मॉडल के पढ़ते ही कितने टोकन बन जाता है। मॉडलों की बिलिंग, उनकी सीमाएँ और रेट लिमिट शब्दों में नहीं, टोकन में तय होती हैं — इसलिए यही संख्या तय करती है कि कोई प्रॉम्प्ट समाएगा या नहीं और उसका खर्च कितना होगा। यह टोकन काउंटर 7 प्रदाताओं के 34 मॉडलों पर असली tokenizer आपके ब्राउज़र में चलाता है और संख्या, लागत तथा कॉन्टेक्स्ट विंडो का भरा हिस्सा एक साथ दिखाता है।

टोकन टेक्स्ट की वह मूल इकाई है जिसे AI मॉडल प्रोसेस करता है। यह पूरा शब्द, किसी शब्द का टुकड़ा, कोई विराम चिह्न या एक अकेला अक्षर हो सकता है। आम अंग्रेज़ी शब्द आमतौर पर एक-एक टोकन होते हैं, जबकि लंबे या कम प्रचलित शब्द टुकड़ों में बँट जाते हैं — "tokenization" मॉडल तक "token" और "ization" के रूप में पहुँचता है। सामान्य अंग्रेज़ी के लिए एक टोकन औसतन करीब 4 अक्षर या एक शब्द का 0.75 हिस्सा होता है।

अंग्रेज़ी गद्य के लगभग 4 अक्षर, यानी एक शब्द का करीब 0.75 हिस्सा। यह औसत है, नियम नहीं: "the" तीन अक्षरों का एक टोकन है, जबकि कोई लंबा URL या base64 ब्लॉक हर अक्षर पर एक टोकन खर्च करा सकता है। पैसे में, GPT-5.6 Terra पर एक इनपुट टोकन $0.000002 का पड़ता है — इसीलिए दरें हमेशा प्रति टोकन नहीं, प्रति दस लाख बताई जाती हैं।

किसी टेक्स्ट को टोकनाइज़ करना यानी उसे उन शब्दावली इकाइयों में बाँटना जिन्हें मॉडल असल में पढ़ता है, और फिर हर इकाई को एक पूर्णांक ID से जोड़ना। मॉडल आपके अक्षर कभी नहीं देखता; वह IDs की वही सूची देखता है। टोकनाइज़ करना नियतात्मक है — एक ही टेक्स्ट से हमेशा वही टोकन बनते हैं — और उलटा भी किया जा सकता है, इसलिए IDs को डीकोड करने पर मूल टेक्स्ट बाइट-दर-बाइट वापस मिल जाता है। टोकन गिनना यही है: टेक्स्ट को टोकनाइज़ करना और बताना कि कितने टुकड़े निकले।

पाँच प्रकारों वाला यह वर्गीकरण AI से नहीं, कंपाइलर सिद्धांत से आता है: एक lexer सोर्स कोड को कीवर्ड, पहचानकर्ता, ऑपरेटर, विभाजक और लिटरल में छाँटता है। भाषा मॉडल इन श्रेणियों का इस्तेमाल नहीं करते। LLM टोकनाइज़ेशन के लिए काम की बाँट अलग है — पूरे शब्द, उपशब्द टुकड़े, अकेले अक्षर या कच्चे बाइट, विराम चिह्न और खाली जगह, तथा end-of-text जैसे विशेष नियंत्रण टोकन। इनमें सिर्फ़ आख़िरी किस्म आपके टेक्स्ट से नहीं, API की ओर से जुड़ती है।

अंग्रेज़ी गद्य के लगभग 750 शब्द, प्रति टोकन 0.75 शब्द के व्यावहारिक अनुपात से। उलटी दिशा में, 1,000 शब्द मोटे तौर पर 1,333 टोकन हैं। दोनों दिशाएँ अनुमान हैं और सिर्फ़ गद्य पर टिकती हैं: minified JSON, सोर्स कोड, या हिन्दी और जापानी टेक्स्ट के 1,000 टोकन में इससे कहीं कम शब्द आते हैं। ठीक इसी वजह से भाग देने के बजाय गिनना बेहतर है।

करीब 150,000 शब्द, या 500 शब्द प्रति पृष्ठ के हिसाब से लगभग 300 छपे पृष्ठ — यानी पूरी लंबाई का एक उपन्यास। यह एक आम कॉन्टेक्स्ट विंडो का आकार भी है, इसलिए असली सवाल आमतौर पर यही होता है कि "यह 200K में समाएगा या नहीं"। खर्च के लिहाज़ से 200,000 इनपुट टोकन GPT-5.6 Terra पर $0.400 और GPT-4o Mini पर $0.030 के पड़ते हैं।

लगभग 750,000 शब्द, या छपे टेक्स्ट के करीब 1,500 पृष्ठ — मान लीजिए आठ औसत उपन्यास। कई मॉडल अब इतना एक ही अनुरोध में ले लेते हैं: GPT-5.6 Sol की विंडो 1M टोकन की है और Claude Sonnet 5 की 1M। दस लाख टोकन ज़ोर से पढ़ने में करीब नब्बे घंटे लगेंगे।

मोटे तौर पर 1,500,000 शब्द, या लगभग 3,000 छपे पृष्ठ। चुनाव सूची का कोई भी मॉडल इतना एक अनुरोध में नहीं लेता — यहाँ की सबसे बड़ी विंडो 1M टोकन की है — इसलिए बीस लाख आमतौर पर महीने के बजट या ऐसे दस्तावेज़ों के ढेर की बात होती है जिन्हें टुकड़ों में बाँटना पड़ेगा। खर्च में यह GPT-5.6 Terra पर $4.00 का इनपुट है, या GPT-4o Mini पर $0.300।

"1M टोकन" दस लाख टोकन की संक्षिप्त लिखावट है, और यह दो जगह दिखती है। कॉन्टेक्स्ट विंडो के तौर पर इसका मतलब है कि मॉडल प्रॉम्प्ट, दस्तावेज़ और बातचीत का इतिहास मिलाकर करीब 750,000 शब्द एक साथ थाम सकता है। कीमत की इकाई के तौर पर यही वह पैमाना है जिसमें हर प्रदाता अपनी दरें बताता है — GPT-5.6 Terra पर $2.00 प्रति 1M इनपुट टोकन का मतलब है $0.000002 प्रति टोकन। क्रिप्टो टोकन से इसका कोई नाता नहीं है।

GPT-5.6 Terra पर, $2.00 प्रति दस लाख की दर से, 1,000 इनपुट टोकन $0.00200 के और 1,000 आउटपुट टोकन $0.012 के पड़ते हैं — आउटपुट हमेशा महँगी दिशा होती है। पूरी चुनाव सूची में वही 1,000 इनपुट टोकन GPT-4o Mini पर $0.00015 से लेकर Claude Fable 5 पर $0.010 तक जाते हैं, यानी 67× का फ़ासला। टेक्स्ट नहीं बदलता; सिर्फ़ बिल बदलता है।

दस लाख टोकन ठीक एक बिलिंग इकाई है — हर प्रदाता अपनी दरें प्रति दस लाख बताता है, इसलिए कीमत वाले पेज पर यही संख्या छपी होती है। GPT-5.6 Terra पर दस लाख इनपुट टोकन $2.00 के हैं, यानी एक डॉलर में 500,000 टोकन या करीब 375,000 शब्द आते हैं। आउटपुट महँगा है, $12.00 प्रति दस लाख। सस्ते सिरे पर GPT-4o Mini $0.150 लेता है, इसलिए वही एक डॉलर वहाँ 13 गुना आगे तक चलता है।

टोकन की संख्या को चुने हुए मॉडल की प्रकाशित दर से गुणा करके, जिसमें इनपुट और आउटपुट की कीमत अलग-अलग लगती है। यहाँ जो टेक्स्ट आप पेस्ट या अपलोड करते हैं, उसे इनपुट के रूप में गिना जाता है और प्रति कॉल लागत तुरंत दिख जाती है। कैश किया गया इनपुट — जब लगातार आने वाले अनुरोध एक ही प्रॉम्प्ट उपसर्ग साझा करते हैं — उससे भी सस्ता पड़ता है: GPT-5.6 Terra पर $0.200 प्रति दस लाख, सामान्य $2.00 के मुक़ाबले। दरें हर प्रदाता के अपने कीमत पेज से आती हैं और नियमित रूप से दोबारा जाँची जाती हैं।

तीन तरीके, मेहनत के घटते क्रम में। टेक्स्ट को इस पेज के ऊपर लगे काउंटर में पेस्ट करें और संख्या पढ़ लें — OpenAI मॉडलों के लिए बिल्कुल सटीक, क्योंकि असली o200k_base शब्दावली आपके ब्राउज़र में चलती है। या खुद कोई tokenizer लाइब्रेरी बुलाएँ: OpenAI के लिए tiktoken, Google के लिए SentencePiece, खुले मॉडलों के लिए Hugging Face की tokenizers। या अपने अक्षरों की संख्या को 4 से भाग दे दें — यह मोटा अंदाज़ा कोड, JSON और गैर-लैटिन लिपियों पर बुरी तरह भटकता है।

जल्दी जवाब चाहिए तो ऊपर के काउंटर में टेक्स्ट पेस्ट करें या कोई फ़ाइल खींचकर छोड़ दें — संख्या टाइप करते-करते आती जाती है, बिना खाते, बिना API की, और बिना कुछ अपलोड किए। कोड में प्रदाता का अपना tokenizer इस्तेमाल करें: Python में tiktoken के साथ len(enc.encode(text)), या JavaScript में js-tiktoken। जहाँ शब्दावली प्रकाशित नहीं है, वहाँ इसके बदले प्रदाता का गिनती endpoint लें — Claude की संख्या पाने का एकमात्र सटीक रास्ता Anthropic का count-tokens endpoint है।

एक byte pair encoding पास चलाकर, अक्षर या शब्द गिनकर नहीं। tokenizer आपके टेक्स्ट को एक तय regex से काटता है, फिर प्रशिक्षण के दौरान सीखी गई merge तालिका के हिसाब से सबसे बार-बार आने वाले पड़ोसी बाइट जोड़े को बार-बार मिलाता जाता है, जब तक कोई merge लागू ही न हो। जो टुकड़े बच जाते हैं वही टोकन हैं, हर एक किसी पूर्णांक ID से जुड़ा। मौजूदा OpenAI मॉडलों का encoding o200k_base ऐसे करीब 200,000 टुकड़े रखता है; पुराना cl100k_base लगभग 100,000।

OpenAI मॉडलों के लिए बिल्कुल — यह OpenAI की ही ओपन-सोर्स BPE शब्दावली आपके ब्राउज़र में चलाता है, इसलिए जो संख्या दिखती है वही आपसे वसूली जाती है। तुलना में शामिल 56 मॉडलों में से 11 इसी तरह गिने जाते हैं। Anthropic, Google, xAI, DeepSeek और Meta अपने tokenizer प्रकाशित नहीं करते, इसलिए वे संख्याएँ अंशांकित अनुमान हैं और कुल के आगे अनुमान के रूप में ही चिह्नित की जाती हैं। उन्हें एक अच्छे संकेत की तरह लें, बिलिंग आंकड़े की तरह नहीं।

हां। PDF, DOCX, TXT, Markdown, JSON, CSV और XML समर्थित हैं, 10MB तक, और एक साथ कई फ़ाइलें भी चलेंगी — हर एक को अपनी पंक्ति मिलती है और कुल जुड़ता जाता है। PDF को PDF.js की मदद से पूरी तरह आपके ब्राउज़र में ही पार्स किया जाता है; कुछ भी अपलोड नहीं होता। जिस स्कैन की गई PDF में टेक्स्ट नहीं होता उसे पढ़ा नहीं जा सकता, और टूल गुमराह करने वाली संख्या देने के बजाय यह बता देता है।

वह टेक्स्ट को उन पूर्णांक IDs में बदलता है जिन्हें मॉडल प्रोसेस कर सकता है, और उन्हें वापस टेक्स्ट में भी। ठीक-ठीक कहें तो: वह टेक्स्ट को एक regex से संभावित टुकड़ों में काटता है, हर टुकड़े पर एक तय शब्दावली के मुक़ाबले बाइट-जोड़ी merge चलाता है, और बचे हुए हर टुकड़े के लिए एक ID देता है। वह असहज हिस्से भी सँभालता है — वह पहले लगी खाली जगह जो "hello" और " hello" को दो अलग टोकन बना देती है, वे बाइट जो वैध UTF-8 नहीं हैं, और वे नियंत्रण टोकन जो बताते हैं कि संदेश कहाँ शुरू और कहाँ ख़त्म होता है।

मॉडल टेक्स्ट पर जो भी करता है वह एक tokenizer से शुरू और उसी पर ख़त्म होता है, इसलिए आपकी इनपुट मॉडल के लिए पढ़ने योग्य बनती ही उसकी वजह से है। मॉडल के बाहर आप इसका इस्तेमाल अनुरोध भेजने से पहले टोकन गिनने, किसी प्रॉम्प्ट की कीमत निकालने, किसी दस्तावेज़ को कॉन्टेक्स्ट विंडो के हिसाब से जाँचने, वेक्टर डेटाबेस के लिए टेक्स्ट को अक्षर की जगह टोकन की सीमाओं पर बाँटने, और बातचीत के इतिहास को इतना छाँटने के लिए करते हैं कि वह अब भी समा जाए।

टोकनाइज़ेशन यानी टेक्स्ट को उन इकाइयों में बाँटना जिन्हें मॉडल पढ़ता है। "Token counter" दो टोकन हैं, क्योंकि दोनों शब्द इतने आम हैं कि शब्दावली में उनकी अपनी जगह है — और खाली जगह दूसरे शब्द के साथ जाती है, इसलिए " counter" और "counter" अलग-अलग टोकन हैं। "tokenization" शब्द कम प्रचलित है, इसलिए वह "token" और "ization" में बँट जाता है: एक शब्द, दो टोकन। इससे भी कम प्रचलित शब्द और टूटते हैं — "unbelievably" तीन टोकन लेता है, "un" और "bel" तथा "ievably" के रूप में। ऊपर लगा विज़ुअलाइज़र किसी भी पेस्ट किए टेक्स्ट की ठीक-ठीक बाँट दिखा देता है।

AI में, मॉडल का अपना विक्रेता। OpenAI tiktoken प्रकाशित करता है, Google ने SentencePiece ओपन-सोर्स किया, Meta अपना tokenizer Llama के वेट्स के साथ भेजता है, और Hugging Face की tokenizers लाइब्रेरी खुले मॉडलों के लिए BPE, WordPiece और Unigram लागू करती है। Anthropic, Google का Gemini और xAI अपनी प्रोडक्शन शब्दावलियाँ बंद रखते हैं और उसकी जगह गिनती के endpoint देते हैं। अगर आप भुगतान टोकनाइज़ेशन की तलाश में आए हैं, तो वह कार्ड नेटवर्क और पेमेंट प्रोसेसरों की एक अलग ही सेवा है।

कोई एक अल्गोरिद्म चुनें — BPE, WordPiece या Unigram — ऐसा कॉर्पस जुटाएँ जो उस टेक्स्ट जैसा हो जिसे आप असल में प्रोसेस करेंगे, शब्दावली का आकार तय करें, और Hugging Face की tokenizers या SentencePiece जैसा कोई trainer चलाएँ; वह एक शब्दावली और एक merge तालिका देता है। बड़ी शब्दावली का मतलब है प्रति दस्तावेज़ कम टोकन, लेकिन बड़ी embedding मैट्रिक्स। एक चेतावनी सबसे ज़्यादा मायने रखती है: किसी मौजूदा मॉडल के लिए आप tokenizer दोबारा प्रशिक्षित नहीं कर सकते, क्योंकि उसकी शब्दावली embedding वेट्स से जुड़ी हुई है।

हां, बिल्कुल मुफ़्त और बिना किसी सीमा के — कोई साइन-अप नहीं, कोई API की नहीं, कोई ट्रायल नहीं, और कोई पेड टियर नहीं जो काम की चीज़ रोककर रखे। सब कुछ आपके ब्राउज़र में चलता है, इसलिए नापने के लिए कोई सर्वर ही नहीं है और हमारे पास वसूलने के लिए कुछ नहीं: आप 1,000,000 टोकन उतनी ही आसानी से गिन सकते हैं जितनी आसानी से दस। चुनाव सूची के 34 मॉडल सबके लिए उपलब्ध हैं, और फ़ाइल अपलोड भी।

नहीं। tokenizer, फ़ाइल पढ़ना और सारा हिसाब — सब कुछ उसी पेज में स्थानीय रूप से चलता है जो आपके सामने पहले से खुला है। कुछ भी कभी किसी सर्वर को नहीं भेजा जाता, क्योंकि भेजने के लिए कोई सर्वर ही नहीं है — और यही बात इसे किसी अनुबंध के मसौदे, किसी अप्रकाशित स्पेसिफ़िकेशन या किसी ग्राहक की बातचीत पर इस्तेमाल करने लायक बनाती है। टैब बंद कर दें, कुछ बचता नहीं।