Có API hoàn toàn miễn phí cho SillyTavern không?
Các chủ đề xuất hiện khi tìm kiếm "sillytavern free api reddit" thường lặp lại cùng lời khuyên, và phần lớn vẫn đúng ở một khía cạnh: không có gì chạy mô hình lớn cho bạn là miễn phí để vận hành, vì vậy ai đó phải trả tiền ở đâu đó. Đôi khi người đó là bạn, thông qua GPU và điện năng của chính bạn. Đôi khi đó là một công ty coi gói miễn phí là quảng cáo, và đôi khi là một người đam mê tặng thời gian máy chủ cho đến khi hóa đơn tăng lên.
Vì vậy, câu hỏi hữu ích không phải là liệu miễn phí có tồn tại. Nó có. Câu hỏi là bạn phải hy sinh gì để đổi lấy: phần cứng, độ tin cậy, quyền riêng tư, tự do nội dung hay buổi tối của bạn. Trang này xem xét từng lộ trình, nói rõ ràng vị trí của API chúng tôi, và để bạn lựa chọn. Chúng tôi chạy dịch vụ trả phí, nên hãy cân nhắc quan điểm của chúng tôi với điều đó.
Ba loại miễn phí
1. Chạy mô hình trên máy của bạn
Các công cụ như KoboldCpp, Ollama và text-generation-webui tải các mô hình trọng số mở cục bộ, và SillyTavern có thể kết nối với chúng. Sau khi thiết lập, mỗi tin nhắn không tốn gì ngoài điện. Cuộc trò chuyện của bạn không rời khỏi máy tính, và không ai có thể thay đổi điều khoản một cách áp đặt.
Chi phí là phần cứng và sự tinh chỉnh. Chất lượng mô hình tăng theo kích thước, và các mô hình lớn cần nhiều bộ nhớ video. Các mô hình lượng tử hóa nhỏ hơn chạy trên GPU khiêm tốn, nhưng bạn sẽ nhận thấy khả năng ghi nhớ cảnh dài kém hơn và nhân vật phẳng hơn. Đọc thẻ mô hình, chọn mức lượng tử hóa và tinh chỉnh bộ lấy mẫu là một sở thích riêng.
2. Gói miễn phí từ các dịch vụ lưu trữ
Một số nhà cung cấp cung cấp hạn ngạch yêu cầu hoặc token miễn phí. Đây là những cách dễ nhất để bắt đầu: đăng ký, dán khóa API. Điểm mấu chốt là hạn ngạch, mô hình và quy tắc thay đổi, và những thay đổi đó được thông báo theo lịch trình của họ, không phải của bạn. Một số gói miễn phí có thể áp dụng quy tắc kiểm duyệt nội dung của nhà cung cấp, điều này có thể quan trọng đối với truyện có chủ đề người lớn. Luôn kiểm tra điều khoản hiện tại của nhà cung cấp trước khi bạn xây dựng thói quen dựa vào nó.
3. Endpoint cộng đồng và được quyên góp
Các cộng đồng Reddit và Discord đôi khi chia sẻ các endpoint do tình nguyện viên vận hành. Chúng có thể tuyệt vời, và chúng có thể biến mất qua đêm. Hãy coi mọi thứ bạn nhập vào đó là có thể nhìn thấy bởi nhà điều hành, và không bao giờ sử dụng lại mật khẩu hoặc gửi thông tin cá nhân qua proxy mà bạn không thể kiểm tra.
Cái giá của miễn phí, so sánh bên cạnh
| Định tuyến | Tiền bạc | Bạn trả bằng | Rủi ro chính |
|---|---|---|---|
| Mô hình cục bộ | Phần cứng và năng lượng | Thời gian thiết lập, giới hạn VRAM | Mô hình nhỏ hơn, khả năng ghi nhớ cảnh dài kém hơn |
| Gói lưu trữ miễn phí | Không, trong giới hạn | Hạn ngạch, hàng đợi, quy tắc nhà cung cấp | Điều khoản thay đổi, bộ lọc nội dung |
| Endpoint cộng đồng | Không | Niềm tin vào người lạ | Biến mất, quyền riêng tư không rõ ràng |
| API trả trước (của chúng tôi) | $0,15 / $0,50 cho 1 triệu token | Tín dụng | Bạn phải nạp tiền; chỉ tiền mã hóa trên trang web này |
Không cái nào trong số này là sai. Sinh viên có GPU chơi game tốt nên bắt đầu từ cục bộ. Người muốn thử một nhân vật trong một buổi tối có thể dùng bất kỳ gói miễn phí nào. Lộ trình trả phí dành cho điểm mà miễn phí không còn đủ tin cậy cho cách bạn sử dụng nó.
Nơi API của chúng tôi phù hợp
Nó không miễn phí, và chúng tôi sẽ không gọi nó như vậy. Đây là những gì nó là: một API văn bản tương thích OpenAI phục vụ một mô hình trọng số mở, do nhà cung cấp độc lập vận hành và được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người lớn hợp pháp. Bạn trả theo token từ tín dụng trả trước. Yêu cầu thất bại hoặc bị từ chối không bị tính phí, tín dụng không bao giờ hết hạn và không có gói đăng ký.
Người dùng mới có thể nhận $0.50 tín dụng dùng thử bằng một cú nhấp chuột trên trang khóa API, sau khi đăng ký bằng Google hoặc bằng email và mật khẩu. Nó không cần thanh toán, kéo dài 7 ngày và giới hạn một lần cho mỗi người. Khóa dùng thử cho phép 2 yêu cầu đồng thời và 60 yêu cầu mỗi phút, đủ cho một cuộc trò chuyện đơn lẻ.
Bản dùng thử đó là công cụ so sánh trung thực. Chạy nhân vật quen thuộc của bạn qua cùng cảnh bạn đã dùng trên mô hình cục bộ hoặc gói miễn phí và quyết định xem sự khác biệt có quan trọng với bạn không. Nếu không, bạn không mất gì.
Hai giới hạn áp dụng cho tất cả việc sử dụng. Mô hình chỉ là văn bản, nên không có hình ảnh, âm thanh hay embedding. Và nội dung tình dục liên quan đến người chưa thành niên không bao giờ được phép.
$0.50 và $20 thực sự mua được gì
Hãy xem một tin nhắn có kích thước trung bình trong SillyTavern: 4.000 token đầu vào (thẻ, lore và lịch sử gần đây) và câu trả lời 250 token.
- Đầu vào: 4.000 / 1.000.000 x $0,15 = $0,0006
- Đầu ra: 250 / 1.000.000 x $0,50 = $0,000125
- Tổng cộng: $0,000725 cho mỗi tin nhắn
Bản dùng thử $0.50 bao gồm khoảng 689 tin nhắn như vậy, vì $0,50 / $0,000725 xấp xỉ 689. Nạp $20 bao gồm khoảng 27.000. Đối với chi tiêu hàng tháng, hãy giả sử người dùng nặng gửi 200 tin nhắn mỗi ngày trong 30 ngày. Đó là 6.000 tin nhắn, và 6.000 x $0,000725 = $4,35.
Ngữ cảnh dài hơn làm tăng con số này. Ở mức 20.000 token đầu vào và câu trả lời 250 token tương tự, một tin nhắn tốn 20.000 / 1.000.000 x $0,15 = $0,003 cho đầu vào cộng $0,000125 cho đầu ra, vậy $0,003125. Cùng 6.000 tin nhắn sẽ tốn $18,75. Bạn kiểm soát điều đó bằng cách chọn kích thước ngữ cảnh trong SillyTavern thay vì luôn sử dụng cửa sổ ngữ cảnh tối đa 100.000 token.
Nạp tiền là bất kỳ số tiền nguyên nào từ $20 đến $500, với +5% bonus từ $50, +10% từ $100 và +15% từ $200. Trang web này chỉ chấp nhận tiền mã hóa: USDT trên TRC20 hoặc USDC trên Base. Trang giá cả có bảng phân tích chi tiết.
Thiết lập trong SillyTavern
Nếu bạn quyết định kiểm tra bản dùng thử, việc kết nối mất một phút. Trong API Connections, chọn Chat Completion, sau đó nguồn Tùy chỉnh (tương thích OpenAI), và điền vào:
- Điểm cuối:
https://api.nsfwwan.cc/v1 - Khóa API: khóa từ trang tài khoản của bạn
- ID mô hình:
uncensored
Để kiểm tra khóa trước khi tích hợp SillyTavern, hãy chạy một bài kiểm tra Python nhỏ với SDK chuẩn của OpenAI:
from openai import OpenAI
client = OpenAI(
base_url="https://api.nsfwwan.cc/v1",
api_key="YOUR_KEY",
)
reply = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a sarcastic innkeeper in a fantasy town."},
{"role": "user", "content": "Any rooms left tonight?"},
],
max_tokens=150,
)
print(reply.choices[0].message.content)
Thêm ví dụ, bao gồm truyền phát và gọi hàm, có trong hướng dẫn nhanh.
Chạy một bài kiểm tra công bằng
Ý kiến trên diễn đàn là về thẻ của người khác, hương vị của người khác và cài đặt của người khác. Một bài kiểm tra ngắn của riêng bạn sẽ giải quyết nhanh hơn một chủ đề khác.
- Chọn một nhân vật bạn biết rõ và ghi lại năm điều nó luôn phải làm, ví dụ như thói quen nói chuyện hoặc từ chối tiết lộ bí mật.
- Viết mười tin nhắn mở đầu bao gồm cuộc trò chuyện bình tĩnh, một cuộc tranh luận, một cảnh hành động dài và một khoảnh khắc cảm xúc tĩnh lặng.
- Chạy tất cả mười tin nhắn trên mỗi máy chủ với cùng nhiệt độ và cùng độ dài phản hồi.
- Đánh giá mỗi phản hồi trên bốn tiêu chí: nhân vật có giữ đúng giọng điệu không, mô hình có nhớ các chi tiết trước đó không, nó có từ chối hoặc thêm lời tuyên bố miễn trừ không, và nó có kết thúc bằng một đoạn móc câu mời bạn gửi tin nhắn tiếp theo không.
Giữ các điểm số trong một bảng đơn giản. Mười tin nhắn cho mỗi máy chủ là một mẫu nhỏ, vì vậy hãy lặp lại thử nghiệm vào một ngày thứ hai, vì chất lượng trên các máy chủ miễn phí dùng chung có thể thay đổi theo tải. Nếu một máy chủ thắng về giọng điệu nhưng thua về độ tin cậy, điều đó cho bạn biết thói quen nào của chính bạn bạn đánh giá cao hơn.
Câu hỏi cần hỏi bất kỳ nhà cung cấp nào
Ai vận hành máy chủ? Các prompt có được lưu giữ không, và trong bao lâu? Chúng có được dùng để huấn luyện mô hình không? Những quy tắc nội dung nào áp dụng? Điều gì xảy ra khi bạn vượt quá giới hạn? Phía chúng tôi, các câu trả lời bạn có thể xác minh là các prompt không được dùng để huấn luyện, các giới hạn được công bố (2 yêu cầu đồng thời và 60 mỗi phút trên khóa dùng thử, 8 và 300 trên khóa đầy đủ), và một yêu cầu bị từ chối hoặc thất bại không tốn phí. Đối với bất kỳ điều gì khác, hãy đọc trang giá cả và điều khoản thay vì dựa vào tóm tắt trên diễn đàn.
Một cách hợp lý để lựa chọn
- Bắt đầu với bất kỳ lộ trình miễn phí nào phù hợp với phần cứng và sự kiên nhẫn của bạn.
- Ghi chú những gì làm bạn khó chịu: hàng chờ, từ chối, quên chi tiết, thời gian ngừng hoạt động.
- Nếu sự khó chịu là có thật, hãy chi $0.50 cho cùng một kịch bản thử nghiệm và so sánh.
- Nếu bạn tiếp tục, hãy nạp tối thiểu $20 và theo dõi tiêu đề phản hồi
X-Balance-USDtrong một tuần để xem mức sử dụng thực tế của bạn.
Nhiều người kết thúc bằng việc kết hợp: một mô hình cục bộ cho các thử nghiệm nhanh, một API trả phí khi họ muốn các phiên dài, mạch lạc. Không có bài kiểm tra lòng trung thành ở đây.
