2024-07-20 20:57:08 +08:00
|
|
|
|
## 如何使用大模型离线翻译？
|
|
|
|
|
|
|
|
|
|
|
|
### Sakura大模型
|
|
|
|
|
|
|
2024-07-30 18:48:22 +08:00
|
|
|
|
> 推荐使用，配置简单，效果好，也可以纯cpu运行轻量模型
|
2024-07-20 20:57:08 +08:00
|
|
|
|
|
2024-09-07 11:51:26 +08:00
|
|
|
|
部署方法
|
2024-07-20 20:57:08 +08:00
|
|
|
|
|
2024-09-13 20:38:34 +08:00
|
|
|
|
1. [部署SakuraLLM到在线GPU平台](/zh/sakurallmcolab.md)
|
2024-09-07 11:51:26 +08:00
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2. 其他部署方法可参考 https://github.com/SakuraLLM/SakuraLLM/wiki
|
2024-07-20 20:57:08 +08:00
|
|
|
|
|
|
|
|
|
|
### ChatGPT兼容接口
|
|
|
|
|
|
|
2024-07-30 18:48:22 +08:00
|
|
|
|
可以将**Sakura大模型**地址和模型填到这个的参数里面使用（相比起来只是多了些预设prompt等参数，其他无区别）
|
2024-07-20 20:57:08 +08:00
|
|
|
|
|
2024-07-30 18:48:22 +08:00
|
|
|
|
也可以使用[TGW](https://github.com/oobabooga/text-generation-webui) 、[llama.cpp](https://github.com/ggerganov/llama.cpp) 、[ollama](https://github.com/ollama/ollama)、[one-api](https://github.com/songquanpeng/one-api)之类的工具进行模型的部署，然后将地址和模型填入。
|
2024-07-20 20:57:08 +08:00
|
|
|
|
|
|
|
|
|
|
也可以使用Kaggle之类的平台来把模型部署到云端，这时可能会需要用到SECRET_KEY，其他时候可以无视SECRET_KEY参数。
|
2024-07-20 21:53:58 +08:00
|
|
|
|
|
|
|
|
|
|
也可以把注册的大模型的api填进来用（但没必要），和注册在线翻译下ChatGPT兼容接口相比，除了不会使用代理外没有其他区别。
|
