LunaTranslator/docs/zh/offlinellm.md

如何使用大模型离线翻译？

Sakura大模型

这是最推荐使用的，配置最简单，效果最好，也可以纯cpu运行轻量模型

具体部署方法可参考 https://github.com/SakuraLLM/SakuraLLM/wiki

TGW

可参考 text-generation-webui进行部署，或使用懒人包+非官方教程

!> 看非官方教程弄出了问题别来问我，找发视频的人去。

ChatGPT兼容接口

其实Sakura大模型和TGW的接口基本和ChatGPT兼容接口一样，只不过多了一点预设的prompt和参数而已。可以把sakura和TGW的地址和模型填到这个的参数里面使用。

也可以使用oneapi、ollama之类的工具进行模型的部署，然后将地址和模型填入。

也可以使用Kaggle之类的平台来把模型部署到云端，这时可能会需要用到SECRET_KEY，其他时候可以无视SECRET_KEY参数。