มี API ฟรีจริงๆ สำหรับ SillyTavern หรือไม่?
หัวข้อที่ปรากฏเมื่อค้นหา "sillytavern free api" ใน Reddit มักจะซ้ำคำแนะนำเดิมๆ และส่วนใหญ่ถูกต้องในแง่หนึ่ง: ไม่มีบริการที่รันโมเดลขนาดใหญ่ให้คุณฟรี เพราะการดำเนินการมีต้นทุน ดังนั้นจึงต้องมีใครจ่ายที่ใดที่หนึ่ง บางครั้งผู้จ่ายคือคุณ ผ่าน GPU และค่าไฟฟ้าของคุณเอง บางครั้งเป็นบริษัทที่มองว่าระดับฟรีเป็นโฆษณา และบางครั้งเป็นนักอดิเรกที่บริจาคเวลาเซิร์ฟเวอร์จนบิลเก่าลง
ดังนั้น คำถามที่มีประโยชน์ไม่ใช่ว่ามีบริการฟรีหรือไม่ มีอยู่แน่นอน คำถามคือคุณต้องแลกอะไร: ฮาร์ดแวร์ ความน่าเชื่อถือ ความเป็นส่วนตัว ความเป็นอิสระของเนื้อหา หรือเวลาของคุณ หน้าเว็บนี้พิจารณาแต่ละแนวทางทีละทาง บอกอย่างตรงไปตรงมาว่า API ของเราอยู่ตรงไหน และปล่อยให้คุณตัดสินใจ เราให้บริการแบบเสียเงิน ดังนั้นโปรดชั่งน้ำหนักมุมมองของเราโดยคำนึงถึงจุดนี้
ประเภทของความฟรีสามแบบ
1. รันโมเดลบนเครื่องของคุณเอง
เครื่องมือเช่น KoboldCpp, Ollama และ text-generation-webui โหลดโมเดลแบบเปิดน้ำหนักในเครื่อง และ SillyTavern สามารถเชื่อมต่อได้ หลังจากตั้งค่าแล้ว แต่ละข้อความมีค่าใช้จ่ายเพียงค่าไฟ การแชทของคุณจะไม่ออกนอกคอมพิวเตอร์ และไม่มีใครสามารถเปลี่ยนเงื่อนไขกับคุณได้
ต้นทุนคือฮาร์ดแวร์และการปรับแต่ง คุณภาพของโมเดลขึ้นอยู่กับขนาด และโมเดลขนาดใหญ่ต้องการ VRAM จำนวนมาก โมเดลควอนไทซ์ขนาดเล็กทำงานบน GPU ระดับเริ่มต้นได้ แต่คุณจะสังเกตเห็นหน่วยความจำสำหรับฉากยาวที่อ่อนลงและตัวละครที่แบนราบ การอ่านการ์ดโมเดล เลือกระดับควอนไทเซชัน และปรับ Sampler เป็นงานอดิเรกในตัวเอง
2. ระดับฟรีจากบริการโฮสต์
ผู้ให้บริการบางรายเสนอโควตาฟรีสำหรับคำขอหรือโทเคน สิ่งเหล่านี้เริ่มต้นง่ายที่สุด: ลงชื่อเข้าใช้ วางคีย์ ข้อควรระวังคือโควตา โมเดล และกฎระเบียบเปลี่ยนแปลง และการเปลี่ยนแปลงเหล่านี้ประกาศตามตารางเวลาของผู้ให้บริการ ไม่ใช่ของคุณ ระดับฟรีบางระดับอาจใช้กฎเนื้อหาของผู้ให้บริการ ซึ่งอาจสำคัญสำหรับนิยายที่มีธีมผู้ใหญ่ ควรตรวจสอบเงื่อนไขปัจจุบันของผู้ให้บริการก่อนสร้างนิสัยกับมัน
3. เอนด์พอยต์จากชุมชนและการบริจาค
ชุมชน Reddit และ Discord บางแห่งแบ่งปันเอนด์พอยต์ที่ดูแลโดยอาสาสมัคร เอนด์พอยต์เหล่านี้อาจใช้งานได้ดีเยี่ยม แต่ก็อาจหายไปข้ามคืนได้ ให้ถือว่าข้อมูลที่คุณพิมพ์ที่นั่นสามารถมองเห็นโดยผู้ดูแลระบบ และอย่าใช้รหัสผ่านซ้ำหรือส่งข้อมูลส่วนตัวผ่านพร็อกซีที่คุณไม่สามารถตรวจสอบได้
สิ่งที่ฟรี costing คุณ เมื่อเปรียบเทียบกัน
| เส้นทาง | เงิน | คุณจ่ายด้วย | ความเสี่ยงหลัก |
|---|---|---|---|
| โมเดลในเครื่อง | ฮาร์ดแวร์และพลังงาน | เวลาตั้งค่า ขีดจำกัด VRAM | โมเดลขนาดเล็ก หน่วยความจำสำหรับฉากยาวอ่อนลง |
| ระดับโฮสต์ฟรี | ไม่มี ขีดจำกัด | โควตา คิว กฎของผู้ให้บริการ | เงื่อนไขเปลี่ยนแปลง ตัวกรองเนื้อหา |
| เอนด์พอยต์ชุมชน | ไม่มี | ความไว้วางใจในคนแปลกหน้า | หายไป ความเป็นส่วนตัวไม่ทราบ |
| API แบบเติมเงิน (ของเรา) | $0.15 / $0.50 ต่อ 1M โทเคน | เครดิต | คุณต้องเติมเงิน; รับเฉพาะคริปโตบนเว็บไซต์นี้ |
ไม่มีตัวเลือกไหนผิด นักศึกษาที่มี GPU เกมมิ่งดีๆ ควรเริ่มจากโมเดลในเครื่องก่อน คนที่ต้องการลองตัวละครหนึ่งตัวในช่วงเย็นสามารถใช้ฟรีได้ เส้นทางแบบเสียเงินคือจุดที่ตัวเลือกฟรีเริ่มไม่เสถียรพอกับการใช้งานของคุณ
API ของเราอยู่ตรงไหน
มันไม่ใช่บริการฟรี และเราจะไม่ได้เรียกเช่นนั้น นี่คือสิ่งที่มันเป็น: API ข้อความที่เข้ากันได้กับ OpenAI รองรับโมเดลแบบเปิดน้ำหนักหนึ่งตัว ดำเนินการโดยผู้ให้บริการอิสระและปรับแต่งเพื่อตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย คุณจ่ายต่อโทเคนจากเครดิตแบบเติมเงิน คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน เครดิตไม่หมดอายุ และไม่มีสมาชิกภาพ
ผู้ใช้ใหม่สามารถขอเครดิตทดลองใช้ $0.50 ได้ด้วยการคลิกที่ หน้า API key หลังจากสมัครด้วย Google หรืออีเมลและรหัสผ่าน ไม่ต้องใช้บัตร ไม่ต้องชำระเงิน ใช้ได้ 7 วัน จำกัดหนึ่งต่อคน คีย์ทดลองอนุญาตคำขอพร้อมกัน 2 คำขอ และ 60 คำขอต่อนาที ซึ่งเพียงพอสำหรับการแชทหนึ่งครั้ง
เครดิตทดลองนี้คือเครื่องมือเปรียบเทียบที่ตรงไปตรงมา นำตัวละครที่คุณใช้เป็นประจำไปทดสอบในฉากเดียวกันกับที่คุณใช้กับโมเดลในเครื่องหรือฟรีเทียร์ แล้วตัดสินใจว่าความแตกต่างนั้นสำคัญต่อคุณหรือไม่ หากไม่สำคัญ คุณก็ไม่ได้เสียอะไร
ข้อจำกัดสองข้อใช้กับการใช้งานทั้งหมด โมเดลเป็นแบบข้อความเท่านั้น ดังนั้นจึงไม่มีภาพ เสียง หรือ embeddings และเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์จะไม่อนุญาตเด็ดขาด
สิ่งที่ $0.50 และ $20 ซื้อได้จริง
ลองข้อความขนาดกลางใน SillyTavern: 4,000 input tokens (การ์ด, lore และประวัติล่าสุด) และการตอบกลับ 250 โทเคน
- Input: 4,000 / 1,000,000 x $0.15 = $0.0006
- Output: 250 / 1,000,000 x $0.50 = $0.000125
- รวม: $0.000725 ต่อข้อความ
เครดิตทดลอง $0.50 ครอบคลุมข้อความประมาณ 689 แบบนี้ เนื่องจาก $0.50 / $0.000725 มีค่าประมาณ 689 การเติมเงิน $20 ครอบคลุมประมาณ 27,000 สำหรับการใช้จ่ายรายเดือน ให้สมมติว่าผู้ใช้หนักส่ง 200 ข้อความต่อวันเป็นเวลา 30 วัน นั่นคือ 6,000 ข้อความ และ 6,000 x $0.000725 = $4.35
context window ที่ยาวขึ้นทำให้ค่าใช้จ่ายสูงขึ้น ที่ input 20,000 token และ output 250 token ข้อความหนึ่งมีค่าใช้จ่าย input 20,000 / 1,000,000 x $0.15 = $0.003 บวก output $0.000125 รวมเป็น $0.003125 ข้อความ 6,000 ข้อความเดียวกันจะหมดไป $18.75 คุณควบคุมสิ่งนี้ได้โดยการเลือกขนาด context window ใน SillyTavern แทนที่จะใช้หน้าต่าง 100,000 token สูงสุดเสมอ
การเติมเงินเป็นจำนวนเต็มตั้งแต่ $20 ถึง $500 พร้อมโบนัส +5% จาก $50, +10% จาก $100 และ +15% จาก $200 เว็บไซต์นี้รับเฉพาะคริปโต: USDT บน TRC20 หรือ USDC บน Base หน้าราคา มีรายละเอียดเต็ม
ตั้งค่าใน SillyTavern
หากคุณตัดสินใจที่จะทดสอบเครดิตทดลอง การเชื่อมต่อใช้เวลาประมาณหนึ่งนาที ใน API Connections เลือก Chat Completion จากนั้นเลือกแหล่งข้อมูลแบบกำหนดเอง (OpenAI-compatible) และกรอกข้อมูล:
- เอนด์พอยต์:
https://api.nsfwwan.cc/v1 - API key: คีย์จากหน้าบัญชีของคุณ
- รหัสโมเดล:
uncensored
เพื่อตรวจสอบคีย์ก่อนนำ SillyTavern ไปใช้ ให้รันการทดสอบ Python เล็กๆ ด้วย SDK มาตรฐานของ OpenAI:
from openai import OpenAI
client = OpenAI(
base_url="https://api.nsfwwan.cc/v1",
api_key="YOUR_KEY",
)
reply = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a sarcastic innkeeper in a fantasy town."},
{"role": "user", "content": "Any rooms left tonight?"},
],
max_tokens=150,
)
print(reply.choices[0].message.content)
ตัวอย่างเพิ่มเติม รวมถึงสตรีมมิงและการเรียกใช้ฟังก์ชัน อยู่ใน quickstart
รันการทดสอบที่ยุติธรรม
ความคิดเห็นในฟอรัมเกี่ยวกับการ์ดของคนอื่น รสนิยมของคนอื่น และการตั้งค่าของคนอื่น การทดสอบสั้นๆ ของคุณเองจะสรุปผลได้เร็วกว่าอีกหนึ่งหัวข้อ
- เลือกตัวละครที่คุณคุ้นเคยดี และเขียนรายการสิ่งห้าอย่างที่ตัวละครนี้ควรทำเสมอ เช่น นิสัยในการพูดหรือการปฏิเสธที่จะเปิดเผยความลับ
- เขียนข้อความเปิดเรื่องสิบข้อความที่ครอบคลุมการสนทนาปกติ การโต้แย้ง ฉากแอคชั่นที่ยาวนาน และจังหวะอารมณ์ที่เงียบสงบ
- รันข้อความทั้งสิบบนแต่ละ backend ด้วย temperature เดียวกันและความยาว output เดียวกัน
- ให้คะแนนแต่ละการตอบกลับบนสี่จุด: ตัวละครยังอยู่ในเสียงเดิมหรือไม่ โมเดลจำรายละเอียดก่อนหน้านี้ได้หรือไม่ มันปฏิเสธหรือเพิ่มคำอธิบายหรือไม่ และจบลงด้วยจุดดึงดูดที่เชิญให้คุณส่งข้อความถัดไปหรือไม่
เก็บคะแนนไว้ในตารางธรรมดา การทดสอบสิบข้อความต่อแบ็กเอนด์เป็นตัวอย่างขนาดเล็ก ดังนั้นให้รันซ้ำในวันที่สอง เพราะคุณภาพบนโฮสต์ฟรีแบบแชร์กันอาจเปลี่ยนแปลงได้ตามโหลด หากแบ็กเอนด์ชนะด้านเสียงแต่แพ้ด้านความน่าเชื่อถือ นั่นบอกคุณว่าคุณให้คุณค่ากับนิสัยของคุณเองด้านใดมากกว่ากัน
คำถามที่ควรถามโฮสต์ใดๆ
ใครรันเซิร์ฟเวอร์? เก็บพรอมต์ไว้หรือไม่ และนานแค่ไหน? นำไปฝึกโมเดลหรือไม่? กฎเนื้อหาใดใช้? เกิดอะไรขึ้นเมื่อเกินขีดจำกัด? ทางเราตอบได้คือ พรอมต์ไม่ถูกนำไปฝึกโมเดล ขีดจำกัดเผยแพร่แล้ว (2 คำขอพร้อมกัน และ 60 คำขอต่อนาทีสำหรับคีย์ทดลอง, 8 และ 300 สำหรับคีย์เต็ม) และคำขอที่ถูกปฏิเสธหรือล้มเหลวไม่เสียค่าใช้จ่าย สำหรับเรื่องอื่น อ่าน หน้าราคา และข้อกำหนดแทนที่จะพึ่งสรุปจากฟอรัม
วิธีเลือกอย่างมีเหตุผล
- เริ่มต้นด้วยเส้นทางฟรีที่เหมาะกับฮาร์ดแวร์และความอดทนของคุณ
- บันทึกสิ่งที่ทำให้คุณรำคาญ: คิว, การปฏิเสธ, รายละเอียดที่ลืมไป, เวลาหยุดทำงาน
- หากความรำคาญนั้นเป็นเหตุผลที่ถูกต้อง ให้ใช้เครดิตทดลอง $0.50 กับฉากทดสอบเดียวกันและเปรียบเทียบ
- หากคุณยังคงใช้งาน ให้เติมเงินขั้นต่ำ $20 และสังเกตส่วนหัวของคำตอบ
X-Balance-USDเป็นเวลาหนึ่งสัปดาห์เพื่อดูการใช้งานจริงของคุณ
หลายคนจบลงด้วยการผสมผสาน: โมเดลในเครื่องสำหรับการทดลองอย่างรวดเร็ว, API แบบเสียเงินเมื่อต้องการเซสชันที่ยาวและสอดคล้องกัน ไม่มีข้อทดสอบความภักดีที่นี่
