From 2188405e1c670d9ff532398c383cf1219dd69701 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E6=81=8D=E5=85=AE=E6=83=9A=E5=85=AE?= <101191390+HIllya51@users.noreply.github.com> Date: Sat, 20 Jul 2024 21:53:58 +0800 Subject: [PATCH] docs --- docs/zh/offlinellm.md | 6 ++++-- 1 file changed, 4 insertions(+), 2 deletions(-) diff --git a/docs/zh/offlinellm.md b/docs/zh/offlinellm.md index 4080ff97..9e5bc2ff 100644 --- a/docs/zh/offlinellm.md +++ b/docs/zh/offlinellm.md @@ -14,8 +14,10 @@ ### ChatGPT兼容接口 -其实**Sakura大模型**和**TGW**的接口基本和**ChatGPT兼容接口**一样,只不过多了一点预设的prompt和参数而已。可以把sakura和TGW的地址和模型填到这个的参数里面使用。 +可以将**Sakura大模型**和**TGW**的地址和模型填到这个的参数里面使用(相比起来只是多了些预设prompt等参数,其他无区别) -也可以使用**oneapi**、**ollama**之类的工具进行模型的部署,然后将地址和模型填入。 +也可以使用**llama.cpp**、**ollama**、**oneapi**之类的工具进行模型的部署,然后将地址和模型填入。 也可以使用Kaggle之类的平台来把模型部署到云端,这时可能会需要用到SECRET_KEY,其他时候可以无视SECRET_KEY参数。 + +也可以把注册的大模型的api填进来用(但没必要),和注册在线翻译下ChatGPT兼容接口相比,除了不会使用代理外没有其他区别。 \ No newline at end of file