Dua koneksi, satu antarmuka
Jika Anda mencari open webui anthropic api, Anda mungkin menginginkan model Claude di dalam jendela obrolan yang sama yang sudah Anda gunakan untuk segala sesuatu lainnya. Itu berfungsi, dan tidak mengecualikan backend lain. Open WebUI memungkinkan Anda menambahkan lebih dari satu koneksi dan kemudian memilih model dari menu dropdown di awal setiap obrolan. Jadi pertanyaan sebenarnya bukan Anthropic atau yang lain, tetapi model mana yang mendapatkan tugas mana.
Halaman ini melakukan tiga hal. Halaman ini menunjukkan cara menghubungkan endpoint yang kompatibel dengan OpenAI, menggunakan milik kami sebagai contoh yang dikerjakan. Halaman ini menggambarkan bagaimana model Anthropic cocok dengan Open WebUI secara umum tanpa berpura-pura menggantikan dokumentasi mereka. Dan halaman ini memberikan aturan keputusan yang jelas untuk kapan memilih masing-masing, dengan biaya sisi kami dihitung secara tepat.
Menghubungkan model Anthropic
Kami tidak mengoperasikan API Anthropic dan tidak akan memberi tahu Anda harga atau batasnya. Periksa dokumentasi mereka dan akun Anda untuk angka terbaru. Yang dapat dikatakan dengan aman adalah bagaimana bagian-bagiannya terkait.
Jenis koneksi bawaan Open WebUI menggunakan format penyelesaian percakapan OpenAI. Anthropic menerbitkan API bawaannya sendiri, dan pada saat penulisan ada dua cara umum untuk menghadirkan modelnya: fungsi atau pipa komunitas yang dipasang di dalam Open WebUI, atau rute kompatibilitas format OpenAI yang didokumentasikan Anthropic untuk API-nya. Keduanya berubah seiring waktu, jadi buka dokumentasi koneksi Open WebUI saat ini dan dokumentasi kompatibilitas Anthropic saat ini, dan ikuti yang direkomendasikan hari ini.
Terlepas dari rute yang Anda ambil, pisahkan kunci Anthropic dari setiap kunci lain, dan tetapkan batas pengeluaran di akun Anthropic Anda jika ditawarkan. Model frontier yang dihosting menerapkan kebijakan konten mereka sendiri untuk setiap permintaan, jadi baca itu sebelum Anda merencanakan pekerjaan kreatif di sekitarnya.
Menambahkan endpoint yang kompatibel dengan OpenAI
Bagian ini sederhana karena ini adalah tipe koneksi di mana Open WebUI dibangun. Di pengaturan admin, buka Koneksi, tambahkan koneksi API OpenAI baru dan masukkan:
- URL:
https://api.nsfwwan.cc/v1 - Kunci: kunci API Anda
Simpan, dan daftar model diperbarui saat memanggil GET /v1/models. Anda harus melihat uncensored muncul. Label sedikit berbeda antara rilis Open WebUI, tetapi bidang-bidangnya selalu berupa URL dan kunci.
Jika Anda memulai Open WebUI dengan Docker, Anda dapat menyediakan koneksi melalui variabel lingkungan sebagai gantinya:
docker run -d -p 3000:8080 \
-e OPENAI_API_BASE_URL="https://api.nsfwwan.cc/v1" \
-e OPENAI_API_KEY="YOUR_KEY" \
-v open-webui:/app/backend/data \
--name open-webui \
ghcr.io/open-webui/open-webui:main
Sebelum Anda melakukan keduanya, konfirmasi kunci berfungsi dari terminal. Ini juga menunjukkan header yang akan Anda andalkan nanti:
curl -i https://api.nsfwwan.cc/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Say hello in five words."}],"max_tokens":30}'
Cari X-Balance-USD di header respons. Itu menunjukkan sisa kredit. Untuk mendapatkan kunci, gunakan halaman kunci API; pengguna baru dapat mengklaim uji coba $0,50 di sana dengan satu klik, berlaku selama 7 hari dan tanpa detail pembayaran.
Model mana untuk tugas mana
| Tugas | Cocok lebih baik |
|---|---|
| Peninjauan kode, analisis dokumen panjang, penalaran hati-hati | Model Anthropic, jika kualitasnya sesuai kebutuhan Anda |
| Apa pun di mana Anda membutuhkan model vendor bernama untuk kepatuhan atau konsistensi | Vendor itu, secara langsung |
| Fiksi, bermain peran dan obrolan pendamping untuk penggunaan dewasa yang sah yang ditolak oleh model utama | Endpoint tanpa sensor |
| Draf volume tinggi di mana harga per token penting | Bandingkan harga saat ini, lalu uji keduanya pada prompt Anda |
| Gambar, audio, embedding | Tidak di sini; API kami hanya teks |
Kami adalah layanan teks saja yang kecil. Model kami adalah satu model bobot terbuka yang dijalankan oleh penyedia independen, ditala untuk menghindari penolakan konten. Ini bukan model Anthropic dan tidak mengklaim menyamainya pada setiap tugas. Jika Claude sesuai dengan pekerjaan dan kebijakannya, gunakan itu. Endpoint uncensored adalah untuk kasus di mana penolakan menghentikan pekerjaan.
Satu aturan tetap berlaku di sisi kami: tidak ada konten seksual yang melibatkan anak di bawah umur, terlepas dari bingkainya.
Pola praktis adalah menjaga model Anthropic sebagai default untuk pekerjaan sehari-hari dan beralih ke yang uncensored hanya ketika Anda memulai sesi kreatif. Itu menjaga biaya dapat diprediksi, karena Anda hanya membayar laju per token kami untuk obrolan yang membutuhkannya. Itu juga menjaga riwayat Anda tetap rapi, karena obrolan fiksi dan obrolan kerja hidup di utas terpisah dengan nama model yang jelas berbeda. Jika Anda kemudian menemukan bahwa satu backend mencakup semua kebutuhan Anda, menghapus koneksi lain membutuhkan waktu satu menit dan tidak kehilangan apa pun.
Biaya sisi tanpa sensor
Harga kami adalah $0,15 per 1M token input dan $0,50 per 1M token output, ditagih dari kredit prabayar. Permintaan yang gagal atau ditolak tidak dikenakan biaya, dan kredit tidak pernah kedaluwarsa. Dua contoh di Open WebUI:
Pesan obrolan pendek
Prompt 3.000 token (teks sistem plus riwayat) dan balasan 500 token:
- Input: 3.000 / 1.000.000 x $0,15 = $0,00045
- Output: 500 / 1.000.000 x $0,50 = $0,00025
- Total: $0,0007
Seribu dari ini berharga $0,70.
Dokumen panjang dalam konteks
Unggah naskah 60.000 token dan minta kritik 1.000 token. Input adalah 60.000 / 1.000.000 x $0,15 = $0,009, output adalah 1.000 / 1.000.000 x $0,50 = $0,0005, total $0,0095. Jendelanya adalah 100.000 token untuk prompt dan balasan, jadi ini muat, tetapi pertanyaan lanjutan mengirim ulang dokumen setiap kali dan setiap kali biayanya sekitar sama dengan sebelumnya. Fitur retrieval Open WebUI dapat mengirim hanya bagian yang relevan, yang memotong angka tersebut.
Isi ulang berjalan dari $20 hingga $500 dalam dolar utuh dengan bonus +5% dari $50, +10% dari $100, dan +15% dari $200. Situs ini hanya menerima kripto, menggunakan USDT pada TRC20 atau USDC pada Base. Lihat halaman harga.
Jika koneksi tidak berfungsi
Kegagalan paling sering disebabkan oleh beberapa penyebab, dan Anda dapat menyingkirkan mereka secara berurutan.
- URL. Harus berakhir di
/v1. Jangan tambahkan/chat/completionssendiri, karena Open WebUI menambahkan jalur yang dibutuhkan. Hilangnya/v1atau jalur ganda memberikan kesalahan tidak ditemukan. - Kunci. Tempelkan tanpa spasi atau tanda kutip. Respons 401 berarti kunci ditolak, dan salinan baru dari halaman akun Anda menyelesaikannya.
- Daftar model. Jika dropdown kosong, jalankan pemeriksaan
GET /v1/modelsdari terminal. Jika curl berfungsi dan Open WebUI tidak, masalahnya ada di formulir koneksi, bukan layanan. - Verifikasi. Beberapa versi Open WebUI memiliki tombol verifikasi di sebelah koneksi. Gunakan setelah setiap pengeditan, bukan memulai obrolan, untuk menguji.
- Respons panjang yang berhenti lebih awal. Periksa pengaturan token maksimum apa pun di kontrol obrolan. API itu sendiri tidak membutuhkannya, dan penyelesaian dapat menggunakan sisa jendela konteks 100.000 token.
Saat Anda menghubungi dukungan, sertakan header respons X-Request-Id. Header ini mengidentifikasi permintaan spesifik di sisi kami dan menghemat waktu untuk pertanyaan tambahan.
Tips praktis untuk menjalankan keduanya
- Beri nama pada model Anda. Di Open WebUI, Anda dapat mengganti nama dan mendeskripsikan model di panel admin, sehingga daftar dropdown menjadi jelas mana yang mana.
- Pisahkan prompt sistem. Prompt yang disesuaikan untuk satu model mungkin terdengar aneh bagi model lain. Buat preset khusus per model.
- Jangan ganti model di tengah percakapan untuk pekerjaan sensitif. Setiap model melihat seluruh riwayat. Tentukan backend sebelum Anda memasukkan data pribadi apa pun.
- Perhatikan konkurensi. Kunci penuh mengizinkan 8 permintaan konkuren dan 300 per menit; kunci uji coba mengizinkan 2 dan 60. Jika beberapa orang berbagi satu Open WebUI, 429 dengan kode
concurrencyberarti terlalu banyak stream terbuka sekaligus. 429 dengan headerRetry-After: 5adalah kelebihan beban sementara, jadi coba lagi sebentar. - Streaming berfungsi. Dengan streaming aktif, bagian terakhir mencakup penggunaan, yang membantu Anda melacak pengeluaran.
Prompt yang dikirim ke API kami tidak digunakan untuk pelatihan. Detail lebih lanjut tentang parameter dan pemanggilan alat ada di panduan cepat.
