İki bağlantı, tek arayüz
open webui anthropic api araması yaptıysanız, muhtemelen her şey için kullandığınız aynı sohbet penceresinde Claude modelleri arıyorsunuz. Bu mümkündür ve diğer altyapıları dışlamaz. Open WebUI, birden fazla bağlantı eklemenizi ve her sohbetin başında bir açılır menüden model seçmenizi sağlar. Asıl soru Anthropic mi yoksa başka bir şey mi değil, hangi modelin hangi işi yapacağıdır.
Bu sayfa üç şey yapar. Kendi örneğimizi kullanarak bir OpenAI uyumlu uç noktaya nasıl bağlanılacağını gösterir. Anthropic modellerinin Open WebUI'ye genel düzeyde nasıl uyduğunu açıklar ve onların belgelerinin yerini almayı iddia etmeden. Ve her birine ne zaman başvurulacağına dair basit bir karar kuralı verir; bizim tarafımızdaki maliyetler tam olarak hesaplanmıştır.
Anthropic modellerinin bağlanması
Anthropic API'sini işletmeyiz ve fiyatlarını veya sınırlarını size söylemeyeceğiz. Güncel rakamlar için belgelerine ve hesabınıza bakın. Güvenle söylenebilecek tek şey parçaların nasıl ilişkili olduğudur.
Open WebUI'nin yerel bağlantı türü OpenAI sohbet tamamlama formatını kullanır. Anthropic kendi yerel API'sini yayınlar ve güncel olarak modellerini içeri almak için iki yaygın yol vardır: Open WebUI içine kurulan bir topluluk fonksiyonu veya bağlantısı, veya Anthropic API'si için belgelerini hazırladığı bir OpenAI-formatı uyumluluk yolu. İkisi de zamanla değişir, bu nedenle bağlantılar için güncel Open WebUI belgelerine ve uyumluluk için güncel Anthropic belgelerine göz atın ve bugün önerileni takip edin.
Hangi rotayı seçerseniz seçin, Anthropic anahtarını diğer tüm anahtarlardan ayrı tutun ve bir Anthropic hesabınızda harcama limiti ayarlayın (sunuluyorsa). Barındırılan frontier modeller her istekte kendi içerik politikalarını uygular, bu nedenle yaratıcı planlama yapmadan önce bunları okuyun.
Bir OpenAI uyumlu uç nokta ekleme
Bu kısım basittir çünkü Open WebUI bu bağlantı türü etrafında inşa edilmiştir. Yönetici ayarlarında, Bağlantılar'ı açın, yeni bir OpenAI API bağlantısı ekleyin ve şunları girin:
- URL:
https://api.nsfwwan.cc/v1 - Anahtar: API anahtarınız
Kaydedin ve model listesi GET /v1/models çağrılarak yenilenir. uncensored'in belirmesini görmelisiniz. Etiketler Open WebUI sürümleri arasında biraz farklılık gösterir, ancak alanlar her zaman bir URL ve bir anahtardır.
Open WebUI'yi Docker ile başlatıyorsanız, bağlantıyı ortam değişkenleri aracılığıyla sağlayabilirsiniz:
docker run -d -p 3000:8080 \
-e OPENAI_API_BASE_URL="https://api.nsfwwan.cc/v1" \
-e OPENAI_API_KEY="YOUR_KEY" \
-v open-webui:/app/backend/data \
--name open-webui \
ghcr.io/open-webui/open-webui:main
Bunlardan herhangi birini yapmadan önce, anahtarın bir terminalden çalıştığını onaylayın. Bu aynı zamanda daha sonra güveneceğiniz üstbilgileri de gösterir:
curl -i https://api.nsfwwan.cc/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Say hello in five words."}],"max_tokens":30}'
Yanıt üstbilgilerinde X-Balance-USD'i arayın. Kalan krediyi gösterir. Bir anahtar almak için anahtar sayfasını kullanın; yeni kullanıcılar tek tıkla 7 gün boyunca geçerli ve ödeme bilgileri gerektirmeyen 0,50 $'lık bir deneme kredisi alabilir.
Hangi iş için hangi model
| Görev | Daha iyi uyum |
|---|---|
| Kod incelemesi, uzun belge analizi, dikkatli akıl yürütme | Bir Anthropic modeli, eğer kalite ihtiyacınız olan şeyse |
| Uyum veya tutarlılık için adlandırılmış bir tedarikçi modeline ihtiyacınız olan her şey | O tedarikçi, doğrudan |
| Ana akım modellerin reddettiği yasal yetişkin kullanım için kurgu, rol yapma ve arkadaş sohbetleri | Sansürsüz uç nokta |
| Token başına fiyatın önemli olduğu yüksek hacimli taslaklar | Güncel fiyatları karşılaştırın, ardından istemlerinizde her ikisini de test edin |
| Görüntüler, ses, gömme vektörler | Hiçbiri; API'miz yalnızca metindir |
Biz küçük, yalnızca metin tabanlı bir hizmetiz. Modelimiz, içerik reddedilmelerini önlemek üzere ayarlanmış, bağımsız bir sağlayıcı tarafından yürütülen açık ağırlıklı bir modeldir. Bu, Anthropic'in modeli değildir ve her görevde onu eşitlediğini iddia etmez. Claude işinize ve politikalarına uyuyorsa, onu kullanın. Sansürsüz uç nokta, bir reddin işi durdurduğu durumlardadır.
Tarafımızda değişmeyen bir kural var: reşit olmayanların dahil olduğu cinsel içerik, nasıl çerçevelenirse çerçevelensin yok.
Pratik bir kalıp, Anthropic modelini günlük işler için varsayılan olarak tutmak ve yalnızca yaratıcı bir oturum başladığında sansürsüz modele geçmektir. Bu, maliyetleri öngörülebilir tutar, çünkü yalnızca buna ihtiyaç duyan sohbetler için token başına oranımızı ödersiniz. Ayrıca geçmişinizi düzenli tutar, çünkü kurgu sohbetleri ve iş sohbetleri açıkça farklı model adlarına sahip ayrı iş parçacıklarında yaşar. Daha sonra bir altyapının tüm ihtiyaçlarınızı karşıladığını bulursanız, diğer bağlantıyı kaldırmak bir dakika sürer ve hiçbir şey kaybetmez.
Sansürsüz tarafın maliyeti
Fiyatımız 1M giriş token başına $0.15 ve 1M çıktı token başına $0.50'dir, ön ödemeli krediden faturalandırılır. Başarısız veya reddedilen istekler ücretlendirilmez ve kredi asla sona ermez. Open WebUI'de iki örnek:
Kısa bir sohbet mesajı
3.000 tokenlik bir istem (sistem metni ve geçmiş dahil) ve 500 tokenlik bir yanıt:
- Giriş: 3.000 / 1.000.000 x $0.15 = $0.00045
- Çıktı: 500 / 1.000.000 x $0,50 = $0,00025
- Toplam: $0.0007
Bunun bin tanesi $0.70 eder.
Bağlamda uzun bir belge
60.000 tokenlık bir eser yükleyin ve 1.000 tokenlık bir eleştiri isteyin. Girdi 60.000 / 1.000.000 x 0,15 $ = 0,009 $, çıktı 1.000 / 1.000.000 x 0,50 $ = 0,0005 $, toplam 0,0095 $. Pencere, istem ve yanıt için 100.000 token içindir, bu sığar, ancak takip soruları belgeyi her seferinde yeniden gönderir ve her biri yaklaşık olarak aynı maliyettedir. Open WebUI'nin getirme özelliği yalnızca ilgili kısımları gönderebilir, bu da rakamı düşürür.
Yüklemeler $20 ile $500 arasında tam dolar cinsinden çalışır ve $50'den itibaren +%5, $100'den itibaren +%10 ve $200'den itibaren +%15 bonus içerir. Bu site yalnızca kripto kabul eder, TRC20 üzerinde USDT veya Base üzerinde USDC kullanarak. fiyatlandırma sayfasına bakın.
Bağlantı çalışmazsa
Çoğu hata birkaç nedene dayanır ve bunları sırayla elemelisiniz.
- URL.
/v1ile bitmelidir./chat/completions'i kendiniz eklemeyin, çünkü Open WebUI ihtiyacı olan yolu ekler. Eksik bir/v1veya iki katı yol bulunamadı hatası verir. - Anahtar. Boşluk veya tırnak işareti olmadan yapıştırın. 401 yanıtı anahtarın reddedildiğini gösterir ve hesap sayfanızdan yeni bir kopya bunu çözer.
- Model listesi. Açılır menü boşsa, bir terminalden
GET /v1/modelskontrolünü çalıştırın. curl çalışıyorsa ve Open WebUI çalışmıyorsa, sorun hizmette değil bağlantı formundadır. - Doğrulama. Bazı Open WebUI sürümlerinde bağlantının yanında bir doğrula butonu vardır. Test etmek için sohbet başlatmak yerine her düzenlemeden sonra bunu kullanın.
- Erken duran uzun yanıtlar. Sohbet kontrollerindeki herhangi bir max tokens ayarını kontrol edin. API kendisi bir tane gerektirmez ve tamamlama, 100.000 tokenlik pencerenin geri kalanını kullanabilir.
Destek birimine başvurduğunuzda X-Request-Id yanıt başlığını belirtin. Bu, tarafımızdaki belirli isteği tanımlar ve soru-cevap döngüsünü azaltır.
Her ikisini birden çalıştırma için pratik ipuçları
- Modellerinize isim verin. Open WebUI'da yönetici paneli üzerinden modelleri yeniden adlandırabilir ve açıklayabilirsiniz; bu sayede açılır menüde hangi modelin hangisi olduğu netleşir.
- Sistem istemlerini ayrı tutun. Bir model için ayarlanmış bir istem, başka bir modelde tuhaf gelebilir. Her model için ayrı ön ayarlar oluşturun.
- Hassas işler için sohbet sırasında modelleri değiştirmeyin. Her model tüm geçmişi görür. Herhangi bir özel şey yapıştırmadan önce arka ucu belirleyin.
- Eşzamanlılığı izleyin. Tam bir anahtar 8 eşzamanlı istek ve dakikada 300 izin verir; deneme anahtarı 2 ve 60 izin verir. Birden fazla kişi tek bir Open WebUI'yi paylaşırsa, 429 kodlu
concurrency, aynı anda çok fazla akışın açık olduğu anlamına gelir.Retry-After: 5üstbilgisine sahip bir 429 geçici aşırı yüklenmedir, bu nedenle kısa süre sonra yeniden deneyin. - Akış çalışır. Akış açıkken, son parça kullanım bilgilerini içerir, bu da harcamaları izlemenize yardımcı olur.
API'mize gönderilen istemler eğitim için kullanılmaz. Parametreler ve fonksiyon çağırma hakkında daha fazla ayrıntı hızlı başlangıç'ta yer almaktadır.
