mirror of
https://github.com/HIllya51/LunaTranslator.git
synced 2024-12-29 16:44:13 +08:00
1.6 KiB
1.6 KiB
如何使用大模型离线翻译？
Sakura大模型
这是最推荐使用的，配置最简单，效果最好，也可以纯cpu运行轻量模型
具体部署方法可参考 https://github.com/SakuraLLM/SakuraLLM/wiki
TGW
可参考 text-generation-webui进行部署，或使用懒人包+非官方教程
!> 看B站UP的主的视频弄出了问题别来找我，找UP主去。
ChatGPT兼容接口
其实Sakura大模型和TGW的接口基本和ChatGPT兼容接口一样，只不过多了一点预设的prompt和参数而已。可以把sakura和TGW的地址和模型填到这个的参数里面使用。
也可以使用oneapi、ollama之类的工具进行模型的部署，然后将地址和模型填入。
也可以使用Kaggle之类的平台来把模型部署到云端，这时可能会需要用到SECRET_KEY，其他时候可以无视SECRET_KEY参数。
使用ollama部署的例子 @asukaminato0721
需要在本地或者 ssh 转发端口到本地(能看懂这句话那不需要继续了)
仅提供一种解法。别的兼容 gpt api 的都可以。
下载 ollama https://www.ollama.com/
以 llama3 举例。
https://www.ollama.com/library/llama3
下载好模型，后台跑起来后，在
改成自己在跑的模型，端口改成对应的。就行了。