本文需要用到的工具:
KoBoldCpp:https://colab.research.google.com/github/LostRuins/koboldcpp/blob/concedo/colab.ipynb
语言模型(gguf格式):https://huggingface.co/TheBloke
需要科学环境来使用colab、挑选模型、以及API
测试用的模型是Chinese-Alpaca-2-13B-GGUF ,也可以自行查找其他语言模型
打开Colab链接之后,在Model栏填入model链接或是选择Kobold自带的模型
点击边上的运行按钮开始运行
右上角可以看到Colab分配的系统配置,一般来说是T4,对于语言模型来说问题不大,之前DeepFaceLab以及Stable Diffusion都有用到Colab进行云部署的
会自动使用CloudFlared生成*.trycloudflare.com的链接,这就是我们要的API地址
填入SillyTavern中,点击Connet连接API
测试一下,问题不大
colab也有显示,Token限制可以自行调整,目前模型难以媲美Claude或是ChatGPT,不过作为小小代餐可能还好?并未做太多测试...
文章评论