Apakah ada API benar-benar gratis untuk SillyTavern?
Thread yang muncul di pencarian API gratis SillyTavern di Reddit cenderung mengulang saran yang sama, dan sebagian besar masih berlaku dalam satu hal: tidak ada yang menjalankan model besar untuk Anda secara gratis untuk dioperasikan, jadi seseorang membayar di suatu tempat. Terkadang orang itu adalah Anda, melalui GPU dan listrik Anda sendiri. Terkadang itu adalah perusahaan yang memperlakukan tier gratis sebagai iklan, dan terkadang itu adalah hobiis yang menyumbangkan waktu server hingga tagihan menjadi lama.
Jadi pertanyaan yang berguna bukanlah apakah opsi gratis ada. Ada. Pertanyaannya adalah apa yang Anda korbankan sebagai imbalannya: perangkat keras, keandalan, privasi, kebebasan konten, atau waktu malam Anda. Halaman ini membahas setiap rute secara bergantian, menjelaskan secara jelas posisi API kami, dan menyerahkan pilihan kepada Anda. Kami menjalankan layanan berbayar, jadi timbang pandangan kami dengan mempertimbangkan hal tersebut.
Tiga jenis gratis
1. Jalankan sebuah model di mesin Anda sendiri
Alat seperti KoboldCpp, Ollama dan text-generation-webui memuat model bobot terbuka secara lokal, dan SillyTavern dapat terhubung ke mereka. Setelah pengaturan, setiap pesan hanya membutuhkan daya. Obrolan Anda tidak pernah meninggalkan komputer, dan tidak ada yang dapat mengubah syarat untuk Anda.
Biayanya adalah perangkat keras dan pengutak-atik. Kualitas model skala dengan ukuran, dan model besar membutuhkan banyak memori video. Model kuantisasi yang lebih kecil berjalan pada GPU sederhana, tetapi Anda akan memperhatikan memori yang lebih lemah dari adegan panjang dan karakter yang datar. Membaca kartu model, memilih tingkat kuantisasi dan menyesuaikan sampler adalah hobi tersendiri.
2. Tier gratis dari layanan yang dihosting
Beberapa penyedia menawarkan alokasi gratis permintaan atau token. Ini adalah yang termudah untuk memulai: daftar, tempel kunci. Masalahnya adalah bahwa alokasi, model, dan aturan berubah, dan perubahan itu diumumkan sesuai jadwal mereka, bukan jadwal Anda. Beberapa tier gratis mungkin menerapkan aturan konten sendiri penyedia, yang dapat penting untuk fiksi dengan tema dewasa. Selalu periksa syarat terkini penyedia sebelum Anda menjadikan itu sebagai kebiasaan.
3. Endpoint komunitas dan disumbangkan
Komunitas Reddit dan Discord terkadang berbagi endpoint yang dijalankan oleh sukarelawan. Mereka bisa luar biasa, dan mereka bisa menghilang semalam. Perlakukan apa pun yang Anda ketik di sana sebagai terlihat oleh operator, dan jangan pernah menggunakan kembali kata sandi atau mengirim detail pribadi melalui proxy yang tidak dapat Anda verifikasi.
Apa yang opsi gratis biayakan kepada Anda, secara berdampingan
| Rute | Uang | Anda membayar dengan | Risiko utama |
|---|---|---|---|
| Model lokal | Perangkat keras dan daya | Waktu penyiapan, batas VRAM | Model lebih kecil, memori adegan panjang yang lebih lemah |
| Tier gratis yang di-host | Tidak ada, dalam batas | Kuota, antrean, aturan penyedia | Syarat berubah, filter konten |
| Endpoint komunitas | Tidak Ada | Kepercayaan pada orang asing | Menghilang, privasi tidak diketahui |
| API prabayar (milik kami) | $0,15 / $0,50 per 1M token | Saldo | Anda harus isi saldo; kripto saja di situs ini |
Tidak ada yang salah. Mahasiswa dengan GPU gaming yang bagus sebaiknya mulai secara lokal. Seseorang yang ingin mencoba satu karakter untuk sore hari dapat menggunakan tier gratis. Jalur berbayar adalah untuk titik di mana tier gratis tidak lagi cukup andal untuk cara Anda menggunakannya.
Di mana API kami cocok
Ini tidak gratis, dan kami tidak akan menyebutnya demikian. Berikut adalah apa itu: API teks kompatibel OpenAI yang melayani satu model bobot terbuka, dijalankan oleh penyedia independen dan disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Anda membayar per token dari kredit prabayar. Permintaan yang gagal atau ditolak tidak dibebankan, kredit tidak pernah kedaluwarsa dan tidak ada langganan.
Pengguna baru dapat mengklaim $0,50 kredit uji coba dengan satu klik di halaman kunci API, setelah masuk dengan Google atau dengan email dan kata sandi. Ini tidak memerlukan pembayaran, berlangsung 7 hari dan dibatasi satu per orang. Kunci uji coba memungkinkan 2 permintaan paralel dan 60 permintaan per menit, cukup untuk satu obrolan.
Uji coba itu adalah alat perbandingan yang jujur. Jalankan karakter biasa Anda melalui adegan yang sama yang Anda gunakan pada model lokal atau tier gratis dan putuskan apakah perbedaan itu penting bagi Anda. Jika tidak, Anda tidak kehilangan apa pun.
Dua batas berlaku untuk semua penggunaan. Model hanya teks, jadi tidak ada gambar, audio, atau embedding. Dan konten seksual yang melibatkan anak di bawah umur tidak pernah diizinkan.
Apa yang $0,50 dan $20 beli secara sebenarnya
Ambil pesan berukuran sedang di SillyTavern: 4.000 token input (kartu, lore, dan riwayat terbaru) dan sebuah balasan 250 token.
- Input: 4.000 / 1.000.000 x $0,15 = $0,0006
- Keluaran: 250 / 1.000.000 x $0,50 = $0,000125
- Total: $0,000725 per pesan
Uji coba $0,50 mencakup sekitar 689 pesan seperti itu, karena $0,50 / $0,000725 adalah sekitar 689. Isi ulang $20 mencakup sekitar 27.000. Untuk pengeluaran bulanan, asumsikan pengguna berat mengirim 200 pesan sehari selama 30 hari. Itu adalah 6.000 pesan, dan 6.000 x $0,000725 = $4,35.
Jendela konteks yang lebih panjang menaikkan angka. Pada 20.000 token input dan balasan 250 token yang sama, pesan menelan biaya 20.000 / 1.000.000 x $0,15 = $0,003 untuk input ditambah $0,000125 untuk output, sehingga $0,003125. Dengan 6.000 pesan yang sama akan berjalan $18,75. Anda dapat mengendalikannya dengan memilih ukuran jendela konteks di SillyTavern daripada selalu menggunakan jendela 100.000 token maksimum.
Isi ulang adalah jumlah bulat apa pun dari $20 hingga $500, dengan bonus +5% dari $50, +10% dari $100, dan +15% dari $200. Situs ini hanya menerima kripto: USDT pada TRC20 atau USDC pada Base. Halaman harga memiliki rincian lengkapnya.
Setel di SillyTavern
Jika Anda memutuskan untuk menguji uji coba, koneksi membutuhkan waktu satu menit. Di Koneksi API pilih Penyelesaian Obrolan, lalu sumber Kustom (kompatibel OpenAI), dan isi:
- Endpoint:
https://api.nsfwwan.cc/v1 - Kunci API: kunci dari halaman akun Anda
- ID Model:
uncensored
Untuk memeriksa kunci sebelum melibatkan SillyTavern, jalankan tes Python kecil dengan SDK OpenAI standar:
from openai import OpenAI
client = OpenAI(
base_url="https://api.nsfwwan.cc/v1",
api_key="YOUR_KEY",
)
reply = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a sarcastic innkeeper in a fantasy town."},
{"role": "user", "content": "Any rooms left tonight?"},
],
max_tokens=150,
)
print(reply.choices[0].message.content)
Lebih banyak contoh, termasuk streaming dan pemanggilan fungsi, ada di quickstart.
Jalankan tes yang adil
Pendapat di forum adalah tentang kartu orang lain, selera orang lain dan pengaturan orang lain. Tes singkat Anda sendiri menyelesaikannya lebih cepat daripada thread lain.
- Pilih satu karakter yang Anda kenal baik dan tuliskan lima hal yang harus selalu dilakukannya, misalnya kebiasaan verbal atau penolakan untuk mengungkapkan rahasia.
- Tulis sepuluh pesan pembuka yang mencakup percakapan tenang, sebuah perdebatan, adegan aksi panjang, dan momen emosional yang tenang.
- Jalankan kesepuluh pesan tersebut di setiap backend dengan suhu yang sama dan panjang balasan yang sama.
- Nilai setiap balasan pada empat poin: apakah karakter tetap dalam suara, apakah model mengingat detail sebelumnya, apakah itu menolak atau menambahkan penjelasan, dan apakah itu berakhir dengan hook yang mengundang pesan Anda berikutnya.
Simpan nilai-nilai tersebut dalam tabel sederhana. Sepuluh pesan per backend adalah sampel kecil, sehingga ulangi pengujian pada hari kedua, karena kualitas di host gratis bersama dapat berubah seiring beban. Jika sebuah backend menang dalam hal suara tetapi kalah dalam hal keandalan, hal itu memberi tahu Anda kebiasaan Anda sendiri mana yang lebih Anda hargai.
Pertanyaan untuk ditanyakan kepada penyedia layanan
Siapa yang menjalankan servernya? Apakah prompt disimpan, dan untuk berapa lama? Apakah mereka digunakan untuk pelatihan? Aturan konten apa yang berlaku? Apa yang terjadi ketika Anda melebihi batas? Di sisi kami, jawaban yang dapat Anda verifikasi adalah bahwa prompt tidak digunakan untuk pelatihan, batas dipublikasikan (2 konkuren dan 60 per menit pada kunci uji coba, 8 dan 300 pada kunci penuh), dan permintaan yang ditolak atau gagal tidak memerlukan biaya. Untuk hal lainnya, baca halaman harga dan syarat ketentuan daripada mengandalkan ringkasan forum.
Cara yang masuk akal untuk memilih
- Mulailah dengan jalur gratis apa pun yang sesuai dengan perangkat keras dan kesabaran Anda.
- Catat apa yang mengganggu Anda: antrean, penolakan, detail yang terlupakan, waktu henti.
- Jika gangguan itu nyata, habiskan uji coba $0,50 pada adegan tes yang sama dan bandingkan.
- Jika Anda tetap, isi saldo minimum $20 dan pantau header respons
X-Balance-USDselama seminggu untuk melihat penggunaan Anda yang sebenarnya.
Banyak orang akhirnya mencampuradukkan: model lokal untuk eksperimen cepat, API berbayar ketika mereka menginginkan sesi panjang yang koheren. Tidak ada uji kesetiaan di sini.
