使用KoBoldCpp-Colab对接SillyTavern酒馆
本文最后更新于53 天前,其中的信息可能已经过时,如有错误请发送邮件到[email protected],亦或是留言提醒站长!你也可以通过 https://t.me/shiinabulog 联系我!

本文需要用到的工具:

KoBoldCpp:https://colab.research.google.com/github/LostRuins/koboldcpp/blob/concedo/colab.ipynb

语言模型(gguf格式):https://huggingface.co/TheBloke

需要科学环境来使用colab、挑选模型、以及API

测试用的模型是Chinese-Alpaca-2-13B-GGUF ,也可以自行查找其他语言模型

打开Colab链接之后,在Model栏填入model链接或是选择Kobold自带的模型

vz60ds 0

点击边上的运行按钮开始运行

右上角可以看到Colab分配的系统配置,一般来说是T4,对于语言模型来说问题不大,之前DeepFaceLab以及Stable Diffusion都有用到Colab进行云部署的

w04qpq 0

会自动使用CloudFlared生成*.trycloudflare.com的链接,这就是我们要的API地址

填入SillyTavern中,点击Connet连接API

w1wmdv 0

测试一下,问题不大

w2gunl 0

colab也有显示,Token限制可以自行调整,目前模型难以媲美Claude或是ChatGPT,不过作为小小代餐可能还好?并未做太多测试…

w2jjlb 0


作 者:Serenite
链 接: https://blog.shiina.fun/2024/03/01/%e4%bd%bf%e7%94%a8koboldcpp-colab%e5%af%b9%e6%8e%a5sillytavern%e9%85%92%e9%a6%86/
来 源:Shiina's Bulog
版 权 声 明:本博客所有文章除特别声明外,均采用CC BY-NC-SA 4.0许可协议。文章版权归作者所有,未经允许请勿转载!


暂无评论

发送评论 编辑评论


|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇