Два подключения, один интерфейс
Если вы искали open webui anthropic api, вам, вероятно, нужны модели Claude в том же окне чата, которое вы уже используете для всего остального. Это работает, и это не исключает другие бэкенды. Open WebUI позволяет добавить более одного подключения, а затем выбрать модель из раскрывающегося списка в начале каждого чата. Так что настоящий вопрос не в том, Anthropic это или что-то ещё, а в том, какая модель выполняет какую задачу.
Эта страница делает три вещи. Она показывает, как подключить совместимый с OpenAI эндпоинт, используя наш в качестве примера. Она описывает, как модели Anthropic вписываются в Open WebUI на общем уровне, не претендуя на замену их документации. И она дает простое правило принятия решений о том, когда обращаться к каждой из них, с точным расчётом стоимости для нашей стороны.
Подключение моделей Anthropic
Мы не управляем API Anthropic и не будем сообщать его цены или лимиты. Проверьте их документацию и свой аккаунт для получения актуальных данных. Что можно сказать безопасно, так это то, как связаны между собой компоненты.
Родной тип подключения Open WebUI использует формат OpenAI chat completions. Anthropic публикует свой собственный родной API, и на момент написания статьи есть два распространённых способа подключить его модели: через функцию или пайп от сообщества, установленный внутри Open WebUI, или через маршрут совместимости в формате OpenAI, который Anthropic документирует для своего API. Оба варианта со временем меняются, поэтому откройте текущую документацию Open WebUI по подключениям и текущую документацию Anthropic по совместимости и следуйте тому варианту, который рекомендуется сегодня.
Каким бы путем вы ни пошли, держите ключ Anthropic отдельно от всех остальных ключей и установите лимит расходов в своем аккаунте Anthropic, если такая опция доступна. Хостинговые модели передового уровня применяют свои собственные политики контента к каждому запросу, поэтому прочтите их, прежде чем планировать творческую работу вокруг них.
Добавление эндпоинта, совместимого с OpenAI
Эта часть проста, потому что это тип подключения, вокруг которого был создан Open WebUI. В настройках администратора откройте Подключения, добавьте новое подключение API OpenAI и введите:
- URL:
https://api.nsfwwan.cc/v1 - Ключ: ваш API-ключ
Сохраните, и список моделей обновится после вызова GET /v1/models. Вы должны увидеть uncensored в списке. Метки могут немного отличаться в разных версиях Open WebUI, но поля всегда содержат URL и ключ.
Если вы запускаете Open WebUI через Docker, вы можете предоставить подключение через переменные окружения:
docker run -d -p 3000:8080 \
-e OPENAI_API_BASE_URL="https://api.nsfwwan.cc/v1" \
-e OPENAI_API_KEY="YOUR_KEY" \
-v open-webui:/app/backend/data \
--name open-webui \
ghcr.io/open-webui/open-webui:main
Прежде чем сделать то или иное, подтвердите работоспособность ключа из терминала. Это также покажет заголовки, на которые вы будете опираться позже:
curl -i https://api.nsfwwan.cc/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Say hello in five words."}],"max_tokens":30}'
Ищите заголовок ответа X-Balance-USD. Он показывает оставшийся баланс. Чтобы получить ключ, перейдите на страницу ключей; новые пользователи могут одним кликом получить пробный баланс $0,50 на 7 дней без указания платёжных данных.
Какая модель для какой работы
| Задача | Лучшее соответствие |
|---|---|
| Рецензирование кода, анализ длинных документов, тщательное рассуждение | Модель Anthropic, если её качество — то, что вам нужно |
| Всё, где вам нужна модель от известного вендора для соответствия требованиям или согласованности | Этот вендор напрямую |
| Художественная литература, ролевые игры и чаты-компаньоны для законного использования взрослыми, которые отклоняют популярные модели | Эндпоинт без цензуры |
| Черновики с большим объемом, где важна цена за токен | Сравните текущие цены, затем протестируйте оба на своих промптах |
| Изображения, аудио, эмбеддинги | Ни то, ни другое; наше API только для текста |
Мы — небольшой текстовый сервис. Наша модель — одна модель с открытыми весами, запущенная независимым провайдером, настроенная на то, чтобы избегать отказов в выдаче контента. Это не модель Anthropic, и она не претендует на то, чтобы соответствовать ей во всех задачах. Если Claude подходит для вашей работы и её политик, используйте его. Эндпоинт без цензуры предназначен для случаев, когда отказ останавливает работу.
Одно правило остается неизменным на нашей стороне: запрет на сексуальный контент с участием несовершеннолетних независимо от формулировок.
Практичный шаблон — оставить модель Anthropic по умолчанию для повседневной работы и переключаться на модель без цензуры только тогда, когда вы начинаете творческую сессию. Это делает расходы предсказуемыми, поскольку вы платите только нашу цену за токен для чатов, которым это нужно. Это также сохраняет историю чистой, потому что чаты с художественной литературой и рабочие чаты живут в отдельных потоках с четко разными именами моделей. Если позже вы обнаружите, что один бэкенд покрывает все ваши потребности, удаление другого подключения займет минуту и ничего не потеряется.
Сколько стоит модель без цензуры
Наша цена — $0,15 за 1M входных токенов и $0,50 за 1M выходных токенов, списывается с предоплаченного баланса. Неудачные или отклонённые запросы не оплачиваются, и баланс не сгорает. Два примера в Open WebUI:
Короткое сообщение в чате
Промпт на 3 000 токенов (системный текст плюс история) и ответ на 500 токенов:
- Вход: 3000 / 1 000 000 x $0,15 = $0,00045
- Выход: 500 / 1 000 000 × $0,50 = $0,00025
- Итого: $0,0007
Тысяча таких стоит $0,70.
Длинный документ в контекстном окне
Загрузите рукопись на 60 000 токенов и попросите критики на 1 000 токенов. Входные данные: 60 000 / 1 000 000 × $0,15 = $0,009, выходные данные: 1 000 / 1 000 000 × $0,50 = $0,0005, всего $0,0095. Окно составляет 100 000 токенов для промпта и ответа, так что это вписывается, но последующие вопросы повторно отправляют документ каждый раз, и каждый стоит примерно столько же. Функция извлечения Open WebUI может отправлять только релевантные части, что снижает итоговую стоимость.
Пополнение от $20 до $500 целыми долларами с бонусом +5% от $50, +10% от $100 и +15% от $200. На сайте принимаем только криптовалюту: USDT в сети TRC20 или USDC в сети Base. См. страницу тарифов.
Если подключение не работает
Большинство сбоев сводится к нескольким причинам, и вы можете исключить их по порядку.
- URL. Он должен заканчиваться на
/v1. Не добавляйте/chat/completionsсамостоятельно, так как Open WebUI добавит нужный путь. Отсутствие/v1или удвоение пути приведёт к ошибке «не найдено». - Ключ. Вставьте его без пробелов или кавычек. Ответ 401 означает, что ключ отклонён, и его свежая копия со страницы аккаунта решит проблему.
- Список моделей. Если выпадающий список пуст, выполните проверку
GET /v1/modelsиз терминала. Если curl работает, а Open WebUI нет, проблема в форме подключения, а не в сервисе. - Проверка. В некоторых версиях Open WebUI рядом с подключением есть кнопка проверки. Используйте её после каждого изменения вместо начала чата для тестирования.
- Длинные ответы, которые обрываются рано. Проверьте настройку max_tokens в элементах управления чатом. Сам API не требует её, и завершение может использовать оставшуюся часть окна на 100 000 токенов.
При обращении в поддержку укажите заголовок ответа X-Request-Id. Он идентифицирует конкретный запрос на нашей стороне и экономит время на уточнения.
Практические советы по одновременному использованию
- Давайте моделям понятные имена. В Open WebUI вы можете переименовывать модели и добавлять описания в панели администратора, чтобы в выпадающем списке было ясно, какая модель за что отвечает.
- Разделяйте системные промпты. Промпт, настроенный для одной модели, может звучать неестественно для другой. Создавайте отдельные пресеты для каждой модели.
- Не переключайте модели во время чата для конфиденциальных задач. Каждая модель видит всю историю переписки. Определяйте бэкенд до того, как вставите приватные данные.
- Следите за параллельными запросами. Полный ключ позволяет 8 параллельных запросов и 300 в минуту; пробный ключ позволяет 2 и 60. Если несколько человек используют один Open WebUI, код 429 со значением
concurrencyозначает, что одновременно открыто слишком много потоков. Код 429 с заголовкомRetry-After: 5— это временная перегрузка, поэтому повторите запрос через короткое время. - Потоковая передача работает. При включенной потоковой передаче в последнем чанке содержится информация об использовании, что помогает отслеживать расходы.
Промпты, отправляемые в наш API, не используются для обучения. Более подробная информация о параметрах и вызове инструментов доступна в быстром старте.
