本地部署加上本地知识库感觉完全够用了
deepseek吧
全部回复
仅看楼主
level 6
白昼行僵😈 楼主
用的14BQ8版本，挺快的，正常使用没问题，就是有点傻，于是我用CheeryStudio搭建本地知识库，然后自己给知识库里面添加知识，感觉这个方法才是个人本地部署使用的版本答案啊，会自动根据知识库里面的知识做出回答。如图，我虚构了一个手机都参数然后添加到知识库里面，我第一次问是没有选择知识库的，第二次我选择了知识库，就能很好的回答了[哈哈]
2025年02月07日 13点02分 1
level 2
寒星-
老哥，请问用API可以这样用吗？
2025年02月07日 14点02分 2
寒星-
@白昼行僵😈 哦哦，谢谢老哥[哈哈]
2025年02月07日 14点02分
白昼行僵😈
也可以，这个CherryStudio支持API接入
2025年02月07日 14点02分
寒星-
@白昼行僵😈 使用API的话模型在云端，库在本地会不会很慢？
2025年02月07日 14点02分
白昼行僵😈
@寒星- 不会，看库里面文件的多少了，不管是本地的还是云端的，它回答之前都要检索一下库里的资料的，但是云端的算力比本地的高，所以云端的应该会更快
2025年02月07日 14点02分
level 3
毁灭凤凰人☜
是这样的。因为作为ai，再怎么避免也还是会有数据污染的可能性发生，他的算法决定了他的幻觉是必然发生的。而本地知识库就是纯纯的调用ai的逻辑性和算法，得到的数据都是经过你筛选后的，数据污染的可能性大大降低。
2025年02月07日 16点02分 4
level 1
安之若叶🍀
没啥知识库，不懂找啥
2025年02月07日 17点02分 5
level 1
liushev
用32bq4会不会更好点？
2025年02月08日 03点02分 6
白昼行僵😈
@hellfire 我4060ti，运行32B很慢的，一秒钟两三个字，勉强能用，复杂的任务我用32B，简单的我就用14B，换着用，现在正在下载70B，想不自量力地试一下[乖]
2025年02月09日 08点02分
白昼行僵😈
我全都要，32BQ4Q6我都装了，用来写小说，比14B聪明，但是我电脑差跑起来比较卡。像根据已有的材料写报告这种比较机械的我就用14B，快很多。
2025年02月08日 06点02分
hellfire
@白昼行僵😈 你是什么配置，能装32bq6不简单啊
2025年02月09日 04点02分
level 6
会在梦中流泪
chatbox没有知识库功能是吧？用你说的这个软件能不能设置人设？
2025年02月08日 04点02分 7
白昼行僵😈
可以设置人设
2025年02月08日 06点02分
会在梦中流泪
@白昼行僵😈 感觉太傻了，已经卸载了，还是用api好一点
2025年02月08日 06点02分
白昼行僵😈
@会在梦中流泪 32B以下都挺傻的，32B算勉强可以明白我的意思的，当然肯定没有API的聪明，不过我主要用来写体制内报告啥的，32B感觉已经够用了
2025年02月08日 17点02分
level 1
文件传输助手♂
我现在用的是知识库+硅基那几个9b以下的免费模型
主要电脑开着还是费电，自己部署模型也大不到哪儿去，不如用免费的API🤔
2025年02月08日 15点02分 8
白昼行僵😈
我都试了一遍，32B以下的都傻不愣登的，32B才算有点思维可以明白我的意思
2025年02月08日 17点02分
白昼行僵😈
我主要是用来写体质内的报告文件啥的，32B感觉已经够用了
2025年02月08日 17点02分
level 5
（:3L）
3
2025年02月08日 17点02分 9
level 1
hellfire
cherrystudio调用api需要收费吗？跟anythingllm哪个好用呢
2025年02月09日 04点02分 10
白昼行僵😈
API供应商那边肯定要收费啊，Cherry不收费，跟anything差不多吧，都是工具
2025年02月09日 07点02分
hellfire
@白昼行僵😈 我以为调api cherry还要额外收费
2025年02月09日 08点02分
白昼行僵😈
@hellfire 那不需要
2025年02月09日 17点02分
level 1
哈利路😲
4070+64G跑30B一秒才两个字的样子[狂汗]
2025年02月09日 12点02分 11
白昼行僵😈
我4060ti，32G，跑32BQ8一秒都有2个字[乖]
2025年02月09日 14点02分
哈利路😲
区别不大，反正都超显存又没超32G内存[你懂的]
2025年02月09日 23点02分
哈利路😲
今天又试了一下，是我记错了，我的30B有5tok/s
2025年02月10日 12点02分
level 7
呈风节🌀
我是纯理工科小白，我想让AI跟我讨论小说，但是我直接在官网里把小说txt文件发给他，他吃不下，切片又破坏完整性。联网他也抓取不到小说网站上的原文，他顶多只连到小说目录页面，都不点开章节看的。如果建立知识库吧，我想看的小说都塞进去，他能跟我探讨吗？
2025年02月10日 02点02分 12
白昼行僵😈
理论上是可以的，不过如果小说太大了，效果也不太好，目前的解析检索技术处理超长的内容还是不太行
2025年02月10日 07点02分
level 3
JESSE_caicai
答案好简练，怎么设置的啊？
一般会写分析意图的过程吧
2025年02月10日 04点02分 13
白昼行僵😈
有思考过程的，这个聊天器把思考过程折叠了，自己手动点开才能看到
2025年02月10日 07点02分
JESSE_caicai
@白昼行僵😈 好吧，大模型的废话不少，再找方法定制输出，不然内容太多看不过来
2025年02月10日 08点02分
level 1
刘敬宇律师
14bq8需要多少显存啊？我24gmac够用吗
2025年02月18日 06点02分 14
白昼行僵😈
不知道mac，我是16G显存，32G内存
2025年02月18日 08点02分
1