11 KiB
Как использовать API большой модели для перевода
Использовать несколько совместимых с ChatGPT интерфейсов (или специальных интерфейсов) одновременно?
Если у вас есть несколько разных ключей и вы хотите их ротацию, просто разделите их символом |.Но иногда хочется использовать несколько разных адресов API/prompt/model/параметров и т.д. для сравнения результатов перевода. Метод следующий:
Нажмите кнопку "+" в правом нижнем углу
Появится окно, выберите совместимый с ChatGPT интерфейс (или специальный интерфейс) и дайте ему имя. Это скопирует текущие настройки и API совместимого с ChatGPT интерфейса (или специального интерфейса).
Активируйте скопированный интерфейс и можете настроить его отдельно. Скопированный интерфейс может работать вместе с исходным интерфейсом, что позволяет использовать несколько разных настроек.
model можно выбрать из выпадающего списка, и некоторые интерфейсы могут динамически получать список моделей на основе Адрес API и API Key. После заполнения этих двух полей нажмите кнопку обновления рядом с model, чтобы получить доступный список моделей. Если платформа не поддерживает интерфейс для получения модели, а стандартный список не включает нужную модель, пожалуйста, ознакомьтесь с официальной документацией API, чтобы вручную ввести модель.
Совместимый с ChatGPT интерфейс
Большинство платформ больших моделей используют совместимый с ChatGPT интерфейс.
Из-за разнообразия платформ невозможно перечислить их все. Для других неперечисленных интерфейсов, пожалуйста, обратитесь к их документации, чтобы заполнить соответствующие параметры.
Зарубежные интерфейсы больших моделей
OpenAI
Адрес API https://api.openai.com/v1
API Key https://platform.openai.com/api-keys
model https://platform.openai.com/docs/models
x.ai
Адрес API https://api.x.ai/
API Key https://console.x.ai/
groq
Адрес API https://api.groq.com/openai/v1/chat/completions
API Key https://console.groq.com/keys
model https://console.groq.com/docs/models заполните Model ID
OpenRouter
Адрес API https://openrouter.ai/api/v1/chat/completions
API Key https://openrouter.ai/settings/keys
model https://openrouter.ai/docs/models
Mistral AI
Адрес API https://api.mistral.ai/v1/chat/completions
API Key https://console.mistral.ai/api-keys/
model https://docs.mistral.ai/getting-started/models/
Azure
Адрес API интерфейса https://{endpoint}.openai.azure.com/openai/deployments/{deployName}/chat/completions?api-version=2023-12-01-preview
Замените {endpoint} и {deployName} на ваш endpoint и deployName.
DeepInfra
API Точка подключения https://api.deepinfra.com/v1/openai/chat/completions
API Ключ API Ключ должен быть установлен пустым, иначе произойдет ошибка.
Модель Вы можете посмотреть доступные модели на https://deepinfra.com/chat. На момент написания этого документа, доступные бесплатные модели включают: meta-llama/Meta-Llama-3.1-405B-Instruct meta-llama/Meta-Llama-3.1-70B-Instruct meta-llama/Meta-Llama-3.1-8B-Instruct mistralai/Mixtral-8x22B-Instruct-v0.1 mistralai/Mixtral-8x7B-Instruct-v0.1 microsoft/WizardLM-2-8x22B microsoft/WizardLM-2-7B Qwen/Qwen2.5-72B-Instruct Qwen/Qwen2-72B-Instruct Qwen/Qwen2-7B-Instruct microsoft/Phi-3-medium-4k-instruct google/gemma-2-27b-it openbmb/MiniCPM-Llama3-V-2_5 mistralai/Mistral-7B-Instruct-v0.3 lizpreciatior/lzlv_70b_fp16_hf openchat/openchat_3.5 openchat/openchat-3.6-8b Phind/Phind-CodeLlama-34B-v2 Gryphe/MythoMax-L2-13b cognitivecomputations/dolphin-2.9.1-llama-3-70b
Cerebras
API Точка подключения https://api.cerebras.ai/v1/chat/completions
Модель Поддерживает llama3.1-8b llama3.1-70b
API Ключ После выбора модели и отправки сообщения на https://inference.cerebras.ai, вы можете перехватить запрос и проверить текущее значение Заголовки -> Заголовки запроса -> Authorization, которое будет Bearer demo-xxxxhahaha, где demo-xxxxhahaha является API Ключом.
Китайские интерфейсы больших моделей
DeepSeek
Адрес API https://api.deepseek.com
API Key https://platform.deepseek.com/api_keys
model https://platform.deepseek.com/api-docs/zh-cn/pricing
Alibaba Cloud Bailian Large Model
Адрес API https://dashscope.aliyuncs.com/compatible-mode/v1
API Key https://bailian.console.aliyun.com/?apiKey=1#/api-key
model https://help.aliyun.com/zh/model-studio/getting-started/models
ByteDance Doubao Large Model
Адрес API https://ark.cn-beijing.volces.com/api/v3
API Key Создать API Key получить
model Создать точку доступа для вывода затем заполните точку доступа, а не модель
Moonshot
Адрес API https://api.moonshot.cn
API Key https://platform.moonshot.cn/console/api-keys
model https://platform.moonshot.cn/docs/intro
Zhipu AI
Адрес API https://open.bigmodel.cn/api/paas/v4/chat/completions
API Key https://bigmodel.cn/usercenter/apikeys
model https://bigmodel.cn/dev/howuse/model
Lingyi Wanwu
Адрес API https://api.lingyiwanwu.com
API Key https://platform.lingyiwanwu.com/apikeys
model https://platform.lingyiwanwu.com/docs/api-reference#list-models
Siliconflow
Адрес API https://api.siliconflow.cn
API Key https://cloud-hk.siliconflow.cn/account/ak
model https://docs.siliconflow.cn/docs/model-names
Xunfei Spark Large Model
Адрес API https://spark-api-open.xf-yun.com/v1
API Key См. официальную документацию получить APIKey и APISecret, затем заполните в формате APIKey:APISecret
Tencent Hunyuan Large Model
Адрес API https://api.hunyuan.cloud.tencent.com/v1
API Key См. официальную документацию
model https://cloud.tencent.com/document/product/1729/97731
Baidu Qianfan Large Model
Адрес API https://qianfan.baidubce.com/v2
API Key https://cloud.baidu.com/doc/WENXINWORKSHOP/s/Um2wxbaps
model https://cloud.baidu.com/doc/WENXINWORKSHOP/s/Fm2vrveyu
!> Для API Key используйте Access Key и Secret Key из Baidu AI Cloud IAM для генерации Bearer токена, который затем следует ввести как API Key, или напрямую введите оба в формате {Access Key}:{Secret Key} в поле API Key. Обратите внимание, что это отличается от API ключа и Secret Key старой версии v1 Qianfan ModelBuilder; они не взаимозаменяемы.
!> Обратите внимание, не вводите API ключ и Secret Key старой версии v1 Qianfan ModelBuilder. Интерфейс версии v1 требует использования старого интерфейса Baidu Qianfan Large Model, который по умолчанию скрыт. Чтобы использовать его, переименуйте файл _baiduqianfan.py в baiduqianfan.py в папке LunaTranslator/translator.
Специальные интерфейсы для определенных платформ
Некоторые платформы больших моделей не полностью совместимы с интерфейсом ChatGPT, пожалуйста, заполните параметры в специальном интерфейсе для использования.
gemini
Адрес API https://generativelanguage.googleapis.com
API Key https://aistudio.google.com/app/apikey
model https://cloud.google.com/vertex-ai/generative-ai/docs/learn/models
claude
Адрес API https://api.anthropic.com
API Key https://console.anthropic.com/
model https://docs.anthropic.com/en/docs/about-claude/models