7.9 KiB
如何使用大模型API翻译
同时使用多个ChatGPT兼容接口（或专用接口）？
如果只是有多个不同的密钥想要轮询，只需用|分割就可以了。但有时想要同时使用多个不同的api接口地址/prompt/model/参数等来对比翻译效果。方法是：
点击右下方的“+”按钮
弹出一个窗口，选择ChatGPT兼容接口（或专用接口），并为之取个名字。这样会复制一份当前ChatGPT兼容接口（或专用接口）的设置和api。
激活复制的接口，并可以进行单独设置。复制的接口可以和原接口一起运行，从而使用多个不同的设置来运行。
model可以在下拉列表中选取，且部分接口可以根据API接口地址和API Key动态获取模型列表，填好这两项后点击model旁的刷新按钮即可获取可用的模型列表。如果平台不支持拉取模型的接口，且默认列表中没有要用的模型，那么请参照接口官方文档手动填写模型。
ChatGPT兼容接口
绝大多数大模型平台都是使用ChatGPT兼容接口。
由于平台各种各样，不可能一一列举。对于其他没有列举出来的接口，请自行查阅其文档来填写对应参数。
外国大模型接口
OpenAI
API接口地址 https://api.openai.com/v1
API Key https://platform.openai.com/api-keys
model https://platform.openai.com/docs/models
x.ai
API接口地址 https://api.x.ai/
API Key https://console.x.ai/
groq
API接口地址 https://api.groq.com/openai/v1/chat/completions
API Key https://console.groq.com/keys
model https://console.groq.com/docs/models 填写Model ID
OpenRouter
API接口地址 https://openrouter.ai/api/v1/chat/completions
API Key https://openrouter.ai/settings/keys
model https://openrouter.ai/docs/models
Mistral AI
API接口地址 https://api.mistral.ai/v1/chat/completions
API Key https://console.mistral.ai/api-keys/
model https://docs.mistral.ai/getting-started/models/
Azure
API接口地址 https://{endpoint}.openai.azure.com/openai/deployments/{deployName}/chat/completions?api-version=2023-12-01-preview
其中，将{endpoint}和{deployName}替换成你的endpoint和deployName
deepinfra
API接口地址 https://api.deepinfra.com/v1/openai/chat/completions
API Key 必须把API Key设为空，否则会报错
model 可以在 https://deepinfra.com/chat 查看当前可用的模型。截止到撰写文档时，可以免费使用的模型是：meta-llama/Meta-Llama-3.1-405B-Instruct meta-llama/Meta-Llama-3.1-70B-Instruct meta-llama/Meta-Llama-3.1-8B-Instruct mistralai/Mixtral-8x22B-Instruct-v0.1 mistralai/Mixtral-8x7B-Instruct-v0.1 microsoft/WizardLM-2-8x22B microsoft/WizardLM-2-7B Qwen/Qwen2.5-72B-Instruct Qwen/Qwen2-72B-Instruct Qwen/Qwen2-7B-Instruct microsoft/Phi-3-medium-4k-instruct google/gemma-2-27b-it openbmb/MiniCPM-Llama3-V-2_5 mistralai/Mistral-7B-Instruct-v0.3 lizpreciatior/lzlv_70b_fp16_hf openchat/openchat_3.5 openchat/openchat-3.6-8b Phind/Phind-CodeLlama-34B-v2 Gryphe/MythoMax-L2-13b cognitivecomputations/dolphin-2.9.1-llama-3-70b
cerebras
API接口地址 https://api.cerebras.ai/v1/chat/completions
model 支持llama3.1-8b llama3.1-70b
API Key 在 https://inference.cerebras.ai 选择模型随意发送消息后进行抓包，查看当前 标头 -> 请求标头 -> Authorization 的值，其为 Bearer demo-xxxxhahaha ，其中 demo-xxxxhahaha 即为API Key
国产大模型接口
DeepSeek
API接口地址 https://api.deepseek.com
API Key https://platform.deepseek.com/api_keys
model https://platform.deepseek.com/api-docs/zh-cn/pricing
阿里云百炼大模型
API接口地址 https://dashscope.aliyuncs.com/compatible-mode/v1
API Key https://bailian.console.aliyun.com/?apiKey=1#/api-key
model https://help.aliyun.com/zh/model-studio/getting-started/models
字节跳动豆包大模型
API接口地址 https://ark.cn-beijing.volces.com/api/v3
API Key 创建API Key获取
model 创建推理接入点后，填入接入点而非模型
月之暗面
API接口地址 https://api.moonshot.cn
API Key https://platform.moonshot.cn/console/api-keys
model https://platform.moonshot.cn/docs/intro
智谱AI
API接口地址 https://open.bigmodel.cn/api/paas/v4/chat/completions
API Key https://bigmodel.cn/usercenter/apikeys
model https://bigmodel.cn/dev/howuse/model
零一万物
API接口地址 https://api.lingyiwanwu.com
API Key https://platform.lingyiwanwu.com/apikeys
model https://platform.lingyiwanwu.com/docs/api-reference#list-models
硅基流动
API接口地址 https://api.siliconflow.cn
API Key https://cloud-hk.siliconflow.cn/account/ak
model https://docs.siliconflow.cn/docs/model-names
讯飞星火大模型
API接口地址 https://spark-api-open.xf-yun.com/v1
API Key 参考官方文档获取APIKey和APISecret后，按照APIKey:APISecret的格式填入
腾讯混元大模型
API接口地址 https://api.hunyuan.cloud.tencent.com/v1
API Key 参考官方文档
model https://cloud.tencent.com/document/product/1729/97731
百度千帆大模型
API接口地址 https://qianfan.baidubce.com/v2
API Key https://cloud.baidu.com/doc/WENXINWORKSHOP/s/Um2wxbaps
model https://cloud.baidu.com/doc/WENXINWORKSHOP/s/Fm2vrveyu
!> API Key请使用百度智能云IAM的Access Key、Secret Key来生成接口的BearerToken后作为API Key填入，或者按照{Access Key}:{Secret Key}的格式直接将两者一起填入API Key中。注意，而非千帆ModelBuilder的旧版v1版本接口的API Key、Secret Key，两者不能通用。
!> 注意，请不要填入千帆ModelBuilder的旧版v1版本接口的API Key、Secret Key，v1版本接口需要使用旧版的百度千帆大模型专用接口，该接口已默认隐藏，将LunaTranslator/translator下的_baiduqianfan.py改名为baiduqianfan.py即可使用。
特定平台的专用接口
部分大模型平台不完全兼容ChatGPT接口，请在专用接口中填写参数使用。
gemini
API接口地址 https://generativelanguage.googleapis.com
API Key https://aistudio.google.com/app/apikey
model https://cloud.google.com/vertex-ai/generative-ai/docs/learn/models
claude
API接口地址 https://api.anthropic.com
API Key https://console.anthropic.com/
model https://docs.anthropic.com/en/docs/about-claude/models