Hai kết nối, một giao diện
Nếu bạn tìm kiếm "open webui anthropic api", bạn có lẽ muốn mô hình Claude trong cùng cửa sổ trò chuyện bạn vẫn dùng cho mọi việc khác. Điều này hoạt động và không loại trừ các nền tảng khác. Open WebUI cho phép bạn thêm nhiều kết nối và chọn mô hình từ menu thả xuống ở đầu mỗi cuộc trò chuyện. Vì vậy, câu hỏi thực sự không phải là Anthropic hay cái khác, mà là mô hình nào đảm nhận công việc nào.
Trang này thực hiện ba việc. Nó hướng dẫn cách kết nối một endpoint tương thích OpenAI, lấy endpoint của chúng tôi làm ví dụ minh họa. Nó mô tả cách mô hình Anthropic tích hợp vào Open WebUI ở mức độ tổng quát mà không giả định thay thế tài liệu của họ. Và nó đưa ra quy tắc quyết định rõ ràng khi nào nên dùng từng loại, kèm chi phí chính xác cho phía chúng tôi.
Kết nối các mô hình Anthropic
Chúng tôi không vận hành API Anthropic và sẽ không cung cấp giá hoặc giới hạn của họ. Hãy kiểm tra tài liệu và tài khoản của bạn để có số liệu hiện tại. Những gì có thể nói một cách an toàn là cách các thành phần liên quan với nhau.
Loại kết nối gốc của Open WebUI sử dụng định dạng hoàn thành trò chuyện OpenAI. Anthropic công bố API gốc của riêng họ, và tại thời điểm viết bài, có hai cách phổ biến để đưa mô hình của họ vào: một hàm hoặc pipe cộng đồng được cài đặt trong Open WebUI, hoặc một tuyến tương thích định dạng OpenAI mà Anthropic tài liệu hóa cho API của họ. Cả hai đều thay đổi theo thời gian, vì vậy hãy mở tài liệu kết nối hiện tại của Open WebUI và tài liệu tương thích hiện tại của Anthropic, và làm theo phương pháp được khuyến nghị nhất hiện nay.
Bất kể bạn chọn đường nào, hãy giữ khóa Anthropic riêng biệt với mọi khóa khác và đặt giới hạn chi tiêu trong tài khoản Anthropic nếu có tùy chọn đó. Các mô hình biên giới được lưu trữ áp dụng chính sách nội dung riêng cho mọi yêu cầu, vì vậy hãy đọc chúng trước khi lập kế hoạch công việc sáng tạo xung quanh chúng.
Thêm một endpoint tương thích OpenAI
Phần này đơn giản vì đây là loại kết nối mà Open WebUI được xây dựng xung quanh. Trong cài đặt quản trị, mở Connections, thêm một kết nối API OpenAI mới và nhập:
- URL:
https://api.nsfwwan.cc/v1 - Khóa: khóa API của bạn
Lưu và danh sách mô hình sẽ làm mới bằng cách gọi GET /v1/models. Bạn sẽ thấy uncensored xuất hiện. Nhãn có thể hơi khác nhau giữa các phiên bản Open WebUI, nhưng các trường luôn là URL và khóa.
Nếu bạn khởi động Open WebUI bằng Docker, bạn có thể cung cấp kết nối thông qua các biến môi trường thay thế:
docker run -d -p 3000:8080 \
-e OPENAI_API_BASE_URL="https://api.nsfwwan.cc/v1" \
-e OPENAI_API_KEY="YOUR_KEY" \
-v open-webui:/app/backend/data \
--name open-webui \
ghcr.io/open-webui/open-webui:main
Trước khi làm bất kỳ điều nào trong hai việc trên, hãy xác nhận khóa hoạt động từ terminal. Điều này cũng hiển thị các tiêu đề bạn sẽ dựa vào sau này:
curl -i https://api.nsfwwan.cc/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Say hello in five words."}],"max_tokens":30}'
Tìm X-Balance-USD trong các tiêu đề phản hồi. Nó hiển thị số tín dụng còn lại. Để lấy khóa, hãy sử dụng trang khóa; người dùng mới có thể nhận $0,50 dùng thử tại đó chỉ với một cú nhấp chuột, có hiệu lực trong 7 ngày và không cần thông tin thanh toán.
Mô hình nào cho công việc nào
| Nhiệm vụ | Phù hợp hơn |
|---|---|
| Kiểm tra mã, phân tích tài liệu dài, suy luận cẩn thận | Một mô hình Anthropic, nếu chất lượng của nó là điều bạn cần |
| Bất kỳ trường hợp nào bạn cần một mô hình của nhà cung cấp có tên để tuân thủ hoặc nhất quán | Nhà cung cấp đó, trực tiếp |
| Truyện, nhập vai và trò chuyện với người bạn đồng hành cho người lớn hợp pháp sử dụng mà các mô hình chính thống từ chối | Endpoint không kiểm duyệt |
| Bản nháp khối lượng lớn nơi giá mỗi token quan trọng | So sánh giá hiện tại, sau đó kiểm tra cả hai với các prompt của bạn |
| Hình ảnh, âm thanh, embedding | Không cái nào ở đây; API của chúng tôi chỉ hỗ trợ văn bản |
Chúng tôi là một dịch vụ chỉ hỗ trợ văn bản nhỏ. Mô hình của chúng tôi là một mô hình trọng số mở do nhà cung cấp độc lập vận hành, được tinh chỉnh để tránh từ chối nội dung. Nó không phải là mô hình của Anthropic và không tuyên bố phù hợp với mọi nhiệm vụ. Nếu Claude phù hợp với công việc và chính sách của bạn, hãy sử dụng nó. Endpoint không kiểm duyệt dành cho các trường hợp mà việc từ chối làm gián đoạn công việc.
Một quy tắc vẫn không đổi ở phía chúng tôi: không có nội dung tình dục liên quan đến người chưa thành niên, bất kể cách thể hiện.
Một mẫu thực tế là giữ mô hình Anthropic làm mặc định cho công việc hàng ngày và chuyển sang mô hình không kiểm duyệt chỉ khi bạn bắt đầu một phiên sáng tạo. Điều này giúp chi phí có thể dự đoán được, vì bạn chỉ trả phí theo token cho các cuộc trò chuyện cần nó. Nó cũng giữ lịch sử của bạn gọn gàng, vì các cuộc trò chuyện về tiểu thuyết và công việc sống trong các luồng riêng biệt với tên mô hình khác nhau rõ ràng. Nếu sau này bạn thấy rằng một backend đáp ứng tất cả nhu cầu của bạn, việc loại bỏ kết nối kia chỉ mất một phút và không mất gì cả.
Chi phí phía không kiểm duyệt
Giá của chúng tôi là $0.15 cho mỗi 1M token đầu vào và $0.50 cho mỗi 1M token đầu ra, được tính từ tín dụng trả trước. Các yêu cầu thất bại hoặc bị từ chối không bị tính phí và tín dụng không bao giờ hết hạn. Hai ví dụ trong Open WebUI:
Một tin nhắn trò chuyện ngắn
Một prompt 3.000 token (văn bản hệ thống cộng lịch sử) và một phản hồi 500 token:
- Đầu vào: 3.000 / 1.000.000 x $0.15 = $0.00045
- Đầu ra: 500 / 1,000,000 x $0.50 = $0.00025
- Tổng cộng: $0.0007
Một nghìn lần như vậy tốn $0.70.
Một tài liệu dài trong ngữ cảnh
Tải lên một bản thảo 60.000 token và yêu cầu một bài phê bình 1.000 token. Đầu vào là 60.000 / 1.000.000 x $0,15 = $0,009, đầu ra là 1.000 / 1.000.000 x $0,50 = $0,0005, tổng cộng $0,0095. Cửa sổ ngữ cảnh là 100.000 token cho prompt cộng phản hồi, vì vậy điều này phù hợp, nhưng các câu hỏi tiếp theo gửi lại tài liệu mỗi lần và mỗi lần tốn khoảng như nhau. Tính năng truy xuất của Open WebUI có thể chỉ gửi các phần liên quan, giúp giảm số tiền này.
Các khoản nạp tiền chạy từ $20 đến $500 theo số nguyên đô la với phần thưởng +5% từ $50, +10% từ $100 và +15% từ $200. Trang web này chỉ chấp nhận tiền mã hóa, sử dụng USDT trên TRC20 hoặc USDC trên Base. Xem trang giá cả.
Nếu kết nối không hoạt động
Hầu hết các lỗi đều do một vài nguyên nhân và bạn có thể loại trừ chúng theo thứ tự.
- URL. Nó phải kết thúc bằng
/v1. Không tự thêm/chat/completions, vì Open WebUI sẽ tự thêm đường dẫn cần thiết. Thiếu/v1hoặc đường dẫn bị lặp sẽ gây ra lỗi không tìm thấy. - Khóa. Dán nó mà không có khoảng trắng hoặc dấu ngoặc kép. Phản hồi 401 có nghĩa là khóa đã bị từ chối, và một bản sao mới từ trang tài khoản của bạn sẽ giải quyết vấn đề này.
- Danh sách mô hình. Nếu danh sách thả xuống trống, hãy chạy kiểm tra
GET /v1/modelstừ terminal. Nếu curl hoạt động và Open WebUI không hoạt động, vấn đề nằm ở biểu mẫu kết nối, không phải dịch vụ. - Xác minh. Một số phiên bản Open WebUI có nút xác minh bên cạnh kết nối. Hãy sử dụng nó sau mỗi lần chỉnh sửa thay vì bắt đầu một cuộc trò chuyện để kiểm tra.
- Câu trả lời dài bị ngắt sớm. Bạn hãy kiểm tra cài đặt max tokens trong các tùy chọn chat. API không yêu cầu bạn phải đặt một giá trị đó, và phần phản hồi có thể sử dụng phần còn lại của cửa sổ 100.000 token.
Khi bạn liên hệ hỗ trợ, hãy trích dẫn tiêu đề phản hồi X-Request-Id. Nó xác định chính xác yêu cầu của bạn ở phía chúng tôi và tiết kiệm một vòng câu hỏi.
Mẹo thực tế khi chạy cả hai
- Đặt tên cho các mô hình của bạn. Trong Open WebUI, bạn có thể đổi tên và mô tả các mô hình trong bảng điều khiển quản trị, để menu thả xuống làm rõ cái nào là cái nào.
- Giữ prompt hệ thống riêng biệt. Một prompt được tinh chỉnh cho một mô hình thường sẽ đọc rất lạ đối với mô hình khác. Bạn hãy tạo các cài đặt trước cho từng mô hình.
- Không chuyển đổi mô hình giữa chừng trong cuộc trò chuyện cho công việc nhạy cảm. Mỗi mô hình thấy toàn bộ lịch sử. Quyết định backend trước khi dán bất cứ thứ gì riêng tư.
- Theo dõi độ đồng thời. Khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút; khóa dùng thử cho phép 2 và 60. Nếu nhiều người dùng chung một Open WebUI, mã 429 với code
concurrencynghĩa là quá nhiều luồng đang mở cùng lúc. Mã 429 kèm tiêu đềRetry-After: 5là quá tải tạm thời, bạn hãy thử lại sau một khoảng thời gian ngắn. - Truyền phát (streaming) hoạt động. Khi bật streaming, chunk cuối cùng bao gồm thông tin sử dụng, giúp bạn theo dõi chi tiêu.
Các prompt gửi đến API của chúng tôi không được sử dụng để huấn luyện. Chi tiết hơn về các tham số và gọi hàm có trong hướng dẫn bắt đầu nhanh.
