VI ▾
Lấy khóa API

Open WebUI: API Anthropic so với mô hình không kiểm duyệt

Cập nhật

Open WebUI có thể giữ nhiều kết nối mô hình cùng lúc, nên bạn không phải chọn một nhà cung cấp mãi mãi. Trang này hướng dẫn cách thêm mô hình Anthropic, thêm mô hình của chúng tôi cạnh đó và chọn mô hình theo từng cuộc trò chuyện.

Bảng điều khiển với hai kết nối cung cấp dữ liệu cho một cửa sổ trò chuyện, minh họa hai backend mô hình trong một giao diện

Điểm chính

  1. Open WebUI giao tiếp với các endpoint tương thích OpenAI; API của chúng tôi chỉ cần URL, khóa và ID mô hình uncensored.
  2. Đối với các mô hình Anthropic, hãy làm theo tài liệu hiện tại của Open WebUI và Anthropic vì phương thức kết nối thuộc về họ và có thể thay đổi.
  3. Sử dụng mô hình Anthropic cho công việc phù hợp với chính sách của nó và một mô hình không kiểm duyệt cho văn học người lớn hợp pháp mà nó sẽ không viết.
  4. Chi phí của chúng tôi là $0.15 cho mỗi 1M token đầu vào và $0.50 cho mỗi 1M token đầu ra; một prompt 3,000 token kèm phản hồi 500 token tốn $0.0007.

Hai kết nối, một giao diện

Nếu bạn tìm kiếm "open webui anthropic api", bạn có lẽ muốn mô hình Claude trong cùng cửa sổ trò chuyện bạn vẫn dùng cho mọi việc khác. Điều này hoạt động và không loại trừ các nền tảng khác. Open WebUI cho phép bạn thêm nhiều kết nối và chọn mô hình từ menu thả xuống ở đầu mỗi cuộc trò chuyện. Vì vậy, câu hỏi thực sự không phải là Anthropic hay cái khác, mà là mô hình nào đảm nhận công việc nào.

Trang này thực hiện ba việc. Nó hướng dẫn cách kết nối một endpoint tương thích OpenAI, lấy endpoint của chúng tôi làm ví dụ minh họa. Nó mô tả cách mô hình Anthropic tích hợp vào Open WebUI ở mức độ tổng quát mà không giả định thay thế tài liệu của họ. Và nó đưa ra quy tắc quyết định rõ ràng khi nào nên dùng từng loại, kèm chi phí chính xác cho phía chúng tôi.

Kết nối các mô hình Anthropic

Chúng tôi không vận hành API Anthropic và sẽ không cung cấp giá hoặc giới hạn của họ. Hãy kiểm tra tài liệu và tài khoản của bạn để có số liệu hiện tại. Những gì có thể nói một cách an toàn là cách các thành phần liên quan với nhau.

Loại kết nối gốc của Open WebUI sử dụng định dạng hoàn thành trò chuyện OpenAI. Anthropic công bố API gốc của riêng họ, và tại thời điểm viết bài, có hai cách phổ biến để đưa mô hình của họ vào: một hàm hoặc pipe cộng đồng được cài đặt trong Open WebUI, hoặc một tuyến tương thích định dạng OpenAI mà Anthropic tài liệu hóa cho API của họ. Cả hai đều thay đổi theo thời gian, vì vậy hãy mở tài liệu kết nối hiện tại của Open WebUI và tài liệu tương thích hiện tại của Anthropic, và làm theo phương pháp được khuyến nghị nhất hiện nay.

Bất kể bạn chọn đường nào, hãy giữ khóa Anthropic riêng biệt với mọi khóa khác và đặt giới hạn chi tiêu trong tài khoản Anthropic nếu có tùy chọn đó. Các mô hình biên giới được lưu trữ áp dụng chính sách nội dung riêng cho mọi yêu cầu, vì vậy hãy đọc chúng trước khi lập kế hoạch công việc sáng tạo xung quanh chúng.

Thêm một endpoint tương thích OpenAI

Phần này đơn giản vì đây là loại kết nối mà Open WebUI được xây dựng xung quanh. Trong cài đặt quản trị, mở Connections, thêm một kết nối API OpenAI mới và nhập:

  • URL: https://api.nsfwwan.cc/v1
  • Khóa: khóa API của bạn

Lưu và danh sách mô hình sẽ làm mới bằng cách gọi GET /v1/models. Bạn sẽ thấy uncensored xuất hiện. Nhãn có thể hơi khác nhau giữa các phiên bản Open WebUI, nhưng các trường luôn là URL và khóa.

Nếu bạn khởi động Open WebUI bằng Docker, bạn có thể cung cấp kết nối thông qua các biến môi trường thay thế:

docker run -d -p 3000:8080 \
  -e OPENAI_API_BASE_URL="https://api.nsfwwan.cc/v1" \
  -e OPENAI_API_KEY="YOUR_KEY" \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

Trước khi làm bất kỳ điều nào trong hai việc trên, hãy xác nhận khóa hoạt động từ terminal. Điều này cũng hiển thị các tiêu đề bạn sẽ dựa vào sau này:

curl -i https://api.nsfwwan.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Say hello in five words."}],"max_tokens":30}'

Tìm X-Balance-USD trong các tiêu đề phản hồi. Nó hiển thị số tín dụng còn lại. Để lấy khóa, hãy sử dụng trang khóa; người dùng mới có thể nhận $0,50 dùng thử tại đó chỉ với một cú nhấp chuột, có hiệu lực trong 7 ngày và không cần thông tin thanh toán.

Mô hình nào cho công việc nào

Nhiệm vụPhù hợp hơn
Kiểm tra mã, phân tích tài liệu dài, suy luận cẩn thậnMột mô hình Anthropic, nếu chất lượng của nó là điều bạn cần
Bất kỳ trường hợp nào bạn cần một mô hình của nhà cung cấp có tên để tuân thủ hoặc nhất quánNhà cung cấp đó, trực tiếp
Truyện, nhập vai và trò chuyện với người bạn đồng hành cho người lớn hợp pháp sử dụng mà các mô hình chính thống từ chốiEndpoint không kiểm duyệt
Bản nháp khối lượng lớn nơi giá mỗi token quan trọngSo sánh giá hiện tại, sau đó kiểm tra cả hai với các prompt của bạn
Hình ảnh, âm thanh, embeddingKhông cái nào ở đây; API của chúng tôi chỉ hỗ trợ văn bản

Chúng tôi là một dịch vụ chỉ hỗ trợ văn bản nhỏ. Mô hình của chúng tôi là một mô hình trọng số mở do nhà cung cấp độc lập vận hành, được tinh chỉnh để tránh từ chối nội dung. Nó không phải là mô hình của Anthropic và không tuyên bố phù hợp với mọi nhiệm vụ. Nếu Claude phù hợp với công việc và chính sách của bạn, hãy sử dụng nó. Endpoint không kiểm duyệt dành cho các trường hợp mà việc từ chối làm gián đoạn công việc.

Một quy tắc vẫn không đổi ở phía chúng tôi: không có nội dung tình dục liên quan đến người chưa thành niên, bất kể cách thể hiện.

Một mẫu thực tế là giữ mô hình Anthropic làm mặc định cho công việc hàng ngày và chuyển sang mô hình không kiểm duyệt chỉ khi bạn bắt đầu một phiên sáng tạo. Điều này giúp chi phí có thể dự đoán được, vì bạn chỉ trả phí theo token cho các cuộc trò chuyện cần nó. Nó cũng giữ lịch sử của bạn gọn gàng, vì các cuộc trò chuyện về tiểu thuyết và công việc sống trong các luồng riêng biệt với tên mô hình khác nhau rõ ràng. Nếu sau này bạn thấy rằng một backend đáp ứng tất cả nhu cầu của bạn, việc loại bỏ kết nối kia chỉ mất một phút và không mất gì cả.

Chi phí phía không kiểm duyệt

Giá của chúng tôi là $0.15 cho mỗi 1M token đầu vào và $0.50 cho mỗi 1M token đầu ra, được tính từ tín dụng trả trước. Các yêu cầu thất bại hoặc bị từ chối không bị tính phí và tín dụng không bao giờ hết hạn. Hai ví dụ trong Open WebUI:

Một tin nhắn trò chuyện ngắn

Một prompt 3.000 token (văn bản hệ thống cộng lịch sử) và một phản hồi 500 token:

  • Đầu vào: 3.000 / 1.000.000 x $0.15 = $0.00045
  • Đầu ra: 500 / 1,000,000 x $0.50 = $0.00025
  • Tổng cộng: $0.0007

Một nghìn lần như vậy tốn $0.70.

Một tài liệu dài trong ngữ cảnh

Tải lên một bản thảo 60.000 token và yêu cầu một bài phê bình 1.000 token. Đầu vào là 60.000 / 1.000.000 x $0,15 = $0,009, đầu ra là 1.000 / 1.000.000 x $0,50 = $0,0005, tổng cộng $0,0095. Cửa sổ ngữ cảnh là 100.000 token cho prompt cộng phản hồi, vì vậy điều này phù hợp, nhưng các câu hỏi tiếp theo gửi lại tài liệu mỗi lần và mỗi lần tốn khoảng như nhau. Tính năng truy xuất của Open WebUI có thể chỉ gửi các phần liên quan, giúp giảm số tiền này.

Các khoản nạp tiền chạy từ $20 đến $500 theo số nguyên đô la với phần thưởng +5% từ $50, +10% từ $100 và +15% từ $200. Trang web này chỉ chấp nhận tiền mã hóa, sử dụng USDT trên TRC20 hoặc USDC trên Base. Xem trang giá cả.

Nếu kết nối không hoạt động

Hầu hết các lỗi đều do một vài nguyên nhân và bạn có thể loại trừ chúng theo thứ tự.

  1. URL. Nó phải kết thúc bằng /v1. Không tự thêm /chat/completions, vì Open WebUI sẽ tự thêm đường dẫn cần thiết. Thiếu /v1 hoặc đường dẫn bị lặp sẽ gây ra lỗi không tìm thấy.
  2. Khóa. Dán nó mà không có khoảng trắng hoặc dấu ngoặc kép. Phản hồi 401 có nghĩa là khóa đã bị từ chối, và một bản sao mới từ trang tài khoản của bạn sẽ giải quyết vấn đề này.
  3. Danh sách mô hình. Nếu danh sách thả xuống trống, hãy chạy kiểm tra GET /v1/models từ terminal. Nếu curl hoạt động và Open WebUI không hoạt động, vấn đề nằm ở biểu mẫu kết nối, không phải dịch vụ.
  4. Xác minh. Một số phiên bản Open WebUI có nút xác minh bên cạnh kết nối. Hãy sử dụng nó sau mỗi lần chỉnh sửa thay vì bắt đầu một cuộc trò chuyện để kiểm tra.
  5. Câu trả lời dài bị ngắt sớm. Bạn hãy kiểm tra cài đặt max tokens trong các tùy chọn chat. API không yêu cầu bạn phải đặt một giá trị đó, và phần phản hồi có thể sử dụng phần còn lại của cửa sổ 100.000 token.

Khi bạn liên hệ hỗ trợ, hãy trích dẫn tiêu đề phản hồi X-Request-Id. Nó xác định chính xác yêu cầu của bạn ở phía chúng tôi và tiết kiệm một vòng câu hỏi.

Mẹo thực tế khi chạy cả hai

  • Đặt tên cho các mô hình của bạn. Trong Open WebUI, bạn có thể đổi tên và mô tả các mô hình trong bảng điều khiển quản trị, để menu thả xuống làm rõ cái nào là cái nào.
  • Giữ prompt hệ thống riêng biệt. Một prompt được tinh chỉnh cho một mô hình thường sẽ đọc rất lạ đối với mô hình khác. Bạn hãy tạo các cài đặt trước cho từng mô hình.
  • Không chuyển đổi mô hình giữa chừng trong cuộc trò chuyện cho công việc nhạy cảm. Mỗi mô hình thấy toàn bộ lịch sử. Quyết định backend trước khi dán bất cứ thứ gì riêng tư.
  • Theo dõi độ đồng thời. Khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút; khóa dùng thử cho phép 2 và 60. Nếu nhiều người dùng chung một Open WebUI, mã 429 với code concurrency nghĩa là quá nhiều luồng đang mở cùng lúc. Mã 429 kèm tiêu đề Retry-After: 5 là quá tải tạm thời, bạn hãy thử lại sau một khoảng thời gian ngắn.
  • Truyền phát (streaming) hoạt động. Khi bật streaming, chunk cuối cùng bao gồm thông tin sử dụng, giúp bạn theo dõi chi tiêu.

Các prompt gửi đến API của chúng tôi không được sử dụng để huấn luyện. Chi tiết hơn về các tham số và gọi hàm có trong hướng dẫn bắt đầu nhanh.

Hỏi đáp

Open WebUI có thể sử dụng trực tiếp API Anthropic không?

Tài liệu của Open WebUI mô tả các cách hỗ trợ để thêm các mô hình Anthropic, chẳng hạn như dùng hàm hoặc một tuyến tương thích. Bạn hãy kiểm tra tài liệu hiện tại của nó và của Anthropic, vì các phương pháp này có thể thay đổi.

Tôi dùng ID mô hình nào cho endpoint của bạn?

Sử dụng uncensored. Base URL là https://api.nsfwwan.cc/v1 và xác thực là khóa Bearer.

Tôi có thể giữ cả hai kết nối hoạt động cùng lúc không?

Có. Open WebUI hiển thị các mô hình từ mọi kết nối trong một danh sách thả xuống, để bạn chọn cho từng chat.

Bạn có cung cấp các mô hình Anthropic không?

Không. Chúng tôi cung cấp một mô hình trọng số mở do một nhà cung cấp độc lập vận hành. Chúng tôi không phải là API Anthropic và không phải là bộ định tuyến giữa các nhà cung cấp.

Có cách nào dùng thử mà không cần trả tiền không?

Người dùng mới có thể nhận $0.50 tín dụng dùng thử chỉ với một cú nhấp chuột trên trang khóa. Tín dụng này có hiệu lực trong 7 ngày, không cần thông tin thanh toán và chỉ dành cho một người.

Khóa của bạn chỉ cách một biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa API