क्या SillyTavern के लिए एक सचमुच मुफ़्त API है?
SillyTavern free API reddit खोजों के तहत आने वाले थ्रेड्स अक्सर एक ही सलाह दोहराते हैं, और उसमें से अधिकांश एक पहलू पर सही साबित होती है: आपके लिए बड़े मॉडल चलाने वाला कोई भी स्रोत निःशुल्क नहीं होता, इसलिए किसी न किसी को भुगतान करना ही पड़ता है। कभी-कभी वह आप होते हैं, अपनी GPU और बिजली के माध्यम से। कभी वह एक कंपनी होती है जो मुफ़्त टायर को विज्ञापन के रूप में देखती है, और कभी कोई शौकीन सर्वर समय दान करता है जब तक कि बिल पुराना नहीं हो जाता।
तो उपयोगी सवाल यह नहीं है कि मुफ़्त सेवा मौजूद है या नहीं। वह मौजूद है। सवाल यह है कि आप बदले में क्या त्यागते हैं: हार्डवेयर, विश्वसनीयता, गोपनीयता, सामग्री की स्वतंत्रता या आपकी शाम। यह पृष्ठ हर रास्ते को अलग-अलग लेता है, स्पष्ट रूप से बताता है कि हमारा API कहाँ खड़ा है, और निर्णय आपको छोड़ देता है। हम एक भुगतान वाली सेवा चलाते हैं, इसलिए हमारे दृष्टिकोण को उस बात को ध्यान में रखते हुए तौलें।
मुफ़्त के तीन प्रकार
1. अपने मशीन पर मॉडल चलाएं
KoboldCpp, Ollama और text-generation-webui जैसे टूल ओपन-वेट मॉडल को स्थानीय रूप से लोड करते हैं, और SillyTavern उनसे कनेक्ट हो सकता है। सेटअप के बाद, प्रत्येक संदेश की लागत पावर के अलावा कुछ भी नहीं है। आपकी चैट कभी भी कंप्यूटर से बाहर नहीं जाती, और कोई भी आपको शर्तें बदलने वाला नहीं है।
लागत हार्डवेयर और ट्यूनिंग की है। मॉडल की गुणवत्ता उसके आकार के साथ बढ़ती है, और बड़े मॉडलों को बहुत अधिक वीडियो मेमोरी की आवश्यकता होती है। छोटे क्वांटाइज्ड मॉडल सामान्य GPU पर चलते हैं, लेकिन आप लंबे दृश्यों के लिए कमजोर मेमोरी और समतल पात्रों को महसूस करेंगे। मॉडल कार्ड पढ़ना, क्वांटाइजेशन स्तर चुनना और सैम्पलर ट्यून करना एक अपना शौक है।
2. होस्टेड सेवाओं से मुफ़्त टायर
कुछ प्रदाता अनुरोधों या टोकन की एक मुफ़्त अनुमति प्रदान करते हैं। ये शुरू करने के लिए सबसे आसान हैं: साइन इन करना, एक कुंजी पेस्ट करें। पकड़ यह है कि अनुमतियां, मॉडल और नियम बदल जाते हैं, और वे अपने शेड्यूल पर घोषित किए जाते हैं, न कि आपके। कुछ मुफ़्त टायर प्रदाता की अपनी सामग्री शर्तें लागू कर सकते हैं, जो वयस्कों के विषयों वाली फिक्शन के लिए मायने रख सकते हैं। इस पर आदत बनाने से पहले हमेशा प्रदाता की वर्तमान शर्तों की जांच करें।
3. समुदाय और दान किए गए एंडपॉइंट
Reddit और Discord समुदाय कभी-कभी स्वयंसेवकों द्वारा चलाए गए एंडपॉइंट साझा करते हैं। वे शानदार हो सकते हैं, और वे रातोंरात गायब हो सकते हैं। वहां जो कुछ भी टाइप करें उसे ऑपरेटर के लिए दृश्यमान मानें, और एक पासवर्ड कभी दोबारा न उपयोग करें या किसी ऐसे प्रॉक्सी के माध्यम से व्यक्तिगत विवरण न भेजें जिसे आप जाँच नहीं कर सकते।
मुफ़्त की लागत, एक साथ
| रूट | धन | आप भुगतान करते हैं | मुख्य जोखिम |
|---|---|---|---|
| स्थानीय मॉडल | हार्डवेयर और पावर | सेटअप समय, VRAM सीमाएं | छोटे मॉडल, कमजोर लंबे दृश्य मेमोरी |
| मुफ़्त होस्टेड टियर | कोई नहीं, सीमाओं के भीतर | कोटा, कतार, प्रदाता नियम | शर्तें बदलती हैं, सामग्री फिल्टर |
| समुदाय एंडपॉइंट | कोई नहीं | एक अजनबी पर भरोसा | गायब हो जाता है, गोपनीयता अज्ञात |
| प्रीपेड API (हमारा) | $0.15 / $0.50 प्रति 1M टोकन | क्रेडिट | आपको टॉप-अप करना होगा; केवल इस साइट पर क्रिप्टो |
इनमें से कोई भी गलत नहीं है। एक छात्र जिसके पास एक अच्छी गेमिंग GPU है, उसे शायद स्थानीय रूप से शुरू करना चाहिए। कोई व्यक्ति जो एक शाम के लिए एक पात्र की कोशिश करना चाहता है, वह किसी भी मुफ़्त टायर का उपयोग कर सकता है। भुगतान वाला रास्ता उस बिंदु के लिए है जहां मुफ़्त आपके उपयोग के तरीके के लिए पर्याप्त विश्वसनीय नहीं रह जाता है।
हमारा API कहाँ फिट बैठता है
यह मुफ़्त नहीं है, और हम इसे वह नहीं कहेंगे। यह क्या है: एक OpenAI-संगत टेक्स्ट API जो एक ओपन-वेट मॉडल को सेवा प्रदान कर रहा है, एक स्वतंत्र प्रदाता द्वारा चलाया गया और कानूनी वयस्कों के उपयोग के लिए बिना सामग्री अस्वीकृतियों के जवाब देने के लिए अनुकूलित। आप प्रीपेड क्रेडिट से टोकन के लिए भुगतान करते हैं। विफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता, क्रेडिट कभी समाप्त नहीं होता और कोई सब्सक्रिप्शन नहीं है।
नए उपयोगकर्ता API कुंजी पृष्ठ पर एक क्लिक के साथ $0.50 का ट्रायल क्रेडिट दावा कर सकते हैं, Google या ईमेल और पासवर्ड से साइन इन करने के बाद। इसके लिए भुगतान की आवश्यकता नहीं है, यह 7 दिनों तक चलता है और यह प्रति व्यक्ति एक तक सीमित है। ट्रायल कुंजी 2 समानांतर अनुरोधों और प्रति मिनट 60 अनुरोधों की अनुमति देती है, जो एकल चैट के लिए पर्याप्त है।
यह ट्रायल एक ईमानदार तुलना उपकरण है। अपने सामान्य किरदार को उसी दृश्य पर चलाएं जिसका उपयोग आप स्थानीय मॉडल या मुफ़्त टियर पर करते थे, और तय करें कि क्या अंतर आपके लिए मायने रखता है। यदि नहीं, तो आपका कुछ भी नहीं गया है।
दो सीमाएँ सभी उपयोग पर लागू होती हैं। मॉडल केवल पाठ-आधारित है, इसलिए इसमें छवियाँ, ऑडियो या एम्बेडिंग नहीं हैं। और अल्पवयकों से जुड़ी यौन सामग्री कभी भी अनुमत नहीं है।
$0.50 और $20 वास्तव में क्या खरीदते हैं
SillyTavern में एक मध्यम आकार के संदेश को लें: 4,000 इनपुट टोकन (कार्ड्स, लोर और हालिया इतिहास) और 250 टोकन का उत्तर।
- इनपुट: 4,000 / 1,000,000 x $0.15 = $0.0006
- आउटपुट: 250 / 1,000,000 x $0.50 = $0.000125
- कुल: प्रति संदेश $0.000725
$0.50 का ट्रायल लगभग 689 ऐसे संदेशों को कवर करता है, क्योंकि $0.50 / $0.000725 लगभग 689 है। $20 का टॉप-अप लगभग 27,000 को कवर करता है। मासिक खर्च के लिए, एक भारी उपयोगकर्ता को मानें जो 30 दिनों के लिए प्रतिदिन 200 संदेश भेजता है। यह 6,000 संदेश हैं, और 6,000 x $0.000725 = $4.35 है।
लंबा संदर्भ संख्या को बढ़ा देता है। 20,000 इनपुट टोकन और समान 250 टोकन की रिप्लाई के साथ, एक संदेश की लागत इनपुट के लिए 20,000 / 1,000,000 x $0.15 = $0.003 और आउटपुट के लिए $0.000125 होती है, इसलिए $0.003125। समान 6,000 संदेश $18.75 चलाएंगे। आप SillyTavern में संदर्भ आकार चुनकर इसे नियंत्रित करते हैं, हमेशा अधिकतम 100,000 टोकन विंडो का उपयोग करने के बजाय।
टॉप-अप $20 से $500 तक किसी भी पूर्ण राशि है, $50 से +5% बोनस, $100 से +10% और $200 से +15%। यह साइट केवल क्रिप्टो स्वीकार करती है: TRC20 पर USDT या Base पर USDC। मूल्य निर्धारण पृष्ठ पर पूर्ण विवरण है।
SillyTavern में सेट करें
यदि आप ट्रायल का परीक्षण करने का निर्णय लेते हैं, तो कनेक्शन में एक मिनट लगता है। API कनेक्शन में चैट कंप्लीशन चुनें, फिर कस्टम (OpenAI-compatible) स्रोत, और भरें:
- एंडपॉइंट:
https://api.nsfwwan.cc/v1 - API कुंजी: आपके खाता पृष्ठ से कुंजी
- मॉडल आईडी:
uncensored
SillyTavern को शामिल करने से पहले कुंजी की जाँच करने के लिए, मानक OpenAI SDK के साथ एक छोटा Python परीक्षण चलाएं:
from openai import OpenAI
client = OpenAI(
base_url="https://api.nsfwwan.cc/v1",
api_key="YOUR_KEY",
)
reply = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a sarcastic innkeeper in a fantasy town."},
{"role": "user", "content": "Any rooms left tonight?"},
],
max_tokens=150,
)
print(reply.choices[0].message.content)
स्ट्रीमिंग और टूल कॉलिंग सहित अधिक उदाहरण quickstart में हैं।
एक निष्पक्ष परीक्षण चलाएं
फोरम पर राय किसी अन्य के कार्ड, किसी अन्य के स्वाद और किसी अन्य की सेटिंग्स के बारे में हैं। आपका अपना एक छोटा परीक्षण एक अन्य थ्रेड से तेज़ी से इसे तय कर देता है।
- एक पात्र चुनें जिसे आप अच्छी तरह जानते हैं और लिखें कि उसे हमेशा पाँच चीजें करनी चाहिए, उदाहरण के लिए एक मौखिक आदत या एक राज़ खुलाने से इनकार करना।
- दस ओपनिंग संदेश लिखें जो शांत बातचीत, एक बहस, एक लंबी एक्शन सीन और एक शांत भावनात्मक बिंदु को कवर करते हैं।
- प्रत्येक बैकएंड पर समान तापमान और समान उत्तर लंबाई के साथ सभी दस चलाएं।
- प्रत्येक उत्तर को चार बिंदुओं पर स्कोर करें: क्या किरदार आवाज़ में बना रहा, क्या मॉडल ने पहले के विवरण याद रखे, क्या उसने इनकार या डिस्क्लेमर जोड़ा, और क्या उसने एक हुक पर समाप्त किया जो आपके अगले संदेश को आमंत्रित करता है।
स्कोर एक साधारण सारणी में रखें। प्रति बैकएंड दस संदेश एक छोटा नमूना है, इसलिए गुणवत्ता साझा फ्री होस्ट्स पर लोड के साथ बदल सकती है, इसलिए दूसरे दिन रन दोहराएं। यदि एक बैकएंड आवाज़ में जीतता है लेकिन विश्वसनीयता में हारता है, तो यह आपको बताता है कि आप अपने स्वयं के कौन से व्यवहार को अधिक महत्व देते हैं।
किसी भी होस्ट से पूछने के लिए प्रश्न
सर्वर कौन चलाता है? क्या प्रॉम्प्ट्स रखे जाते हैं, और कितने समय के लिए? क्या उन्हें ट्रेनिंग के लिए इस्तेमाल किया जाता है? कौन से नियम लागू होते हैं? जब आप एक सीमा से अधिक हो जाते हैं तो क्या होता है? हमारी ओर से, वे उत्तर जो आप सत्यापित कर सकते हैं वे हैं कि प्रॉम्प्ट्स ट्रेनिंग के लिए इस्तेमाल नहीं किए जाते, सीमाएँ प्रकाशित हैं (ट्रायल कुंजियों पर 2 समकालिक और प्रति मिनट 60, पूर्ण कुंजियों पर 8 और 300), और एक अस्वीकृत या विफल अनुरोध का कोई खर्च नहीं होता है। किसी अन्य बात के लिए, एक फोरम सारांश पर निर्भर रहने के बजाय मूल्य निर्धारण पृष्ठ और नियम पढ़ें।
एक समझदारी भरा तरीका चुनने का
- शुरू करें उस मुफ़्त रास्ते से जो आपके हार्डवेयर और धैर्य के साथ फिट बैठता है।
- नोट करें कि आपको क्या परेशान करता है: कतार, अस्वीकृतियाँ, भुले हुए विवरण, डाउनटाइम।
- यदि परेशानी वास्तविक है, तो $0.50 ट्रायल उसी परीक्षण दृश्य पर खर्च करें और तुलना करें।
- यदि आप रहते हैं, तो न्यूनतम $20 टॉप-अप करें और एक सप्ताह तक
X-Balance-USDप्रतिक्रिया शीर्षक देखें ताकि आपका असली उपयोग देख सकें।
बहुत से लोग मिक्स करने में अंत करते हैं: तेज प्रयोगों के लिए एक स्थानीय मॉडल, जब वे लंबे, सुसंगत सत्र चाहते हैं तो एक भुगतान API। यहाँ कोई वफादारी परीक्षण नहीं है।
