有什么私有化部署的好用的大模型推荐啊？ - sillytavern吧

level 2

gungnirayu 楼主

大概最多能跑到70B，但是40B以下效果比较好，翻了半天，tifa的好像评价不太好，deeps3x的我试了一下总是一上来不管我说啥直接蹦出来爆论……有一个Phr00tyMix还行，但是总不太自然，有股翻译腔，说实话都没deepseek官方api的效果好……
各位大侠有什么推荐的吗？

2026年03月04日 08点03分 1

level 1

吃枣药丸的百毒

没有

2026年03月04日 09点03分 2

level 9

✌🏻ye

要比deepseek的官方api强？。。想啥呢，个人搭的私有模型怎么可能比的上大厂的模型。

2026年03月04日 10点03分 3

level 1

Alvitr

Qwen3.5-27B：AI基准测试能跟685B的DeepSeek-V3.2打成平手

2026年03月04日 10点03分 4

贴吧用户_G393NCA

这模型不微调的话审查太严重了，完全不能输出nsfw内容

2026年03月04日 12点03分

level 8

用户名缓存失败

开源巨头就那几个，这几个都不行那就没人行了

2026年03月04日 14点03分 5

level 4

该账号已被删除

不存在，官方模型都是600多b，差太多了

2026年03月04日 14点03分 6

level 2

gungnirayu 楼主

我试了几个有coding plan提供deepseek的，都不行，增加了审查。Qwen3.5-27B这个路子感觉挺对，只能等以后有没有更好的了

2026年03月04日 15点03分 7

level 2

gungnirayu 楼主

能接近deepseek的也行啊，deepseek那文笔真不错啊

2026年03月04日 15点03分 8

level 1

CURº

能跑70b？什么配置，但咋可能追上官方api，别忘了还有他能看你多少层楼的限制当时我ds3.0 8b的看不了多少

2026年03月04日 16点03分 9

gungnirayu

就是amd那个395，统一架构内存，说是可以分96g显存，我看有人说最多能分到110g，但是跑70b我试了一下也就10t/s左右，支持128k上下文理论上问题不大，但是速度有点不能忍

2026年03月04日 17点03分

level 4

º-º一♂-♂

要不直接去下破限模型

2026年03月04日 17点03分 10

level 2

gungnirayu 楼主

我说的这些都是破限模型……刚试了Qwen3.5-27B，要想去掉thinking很麻烦啊……

2026年03月05日 02点03分 11

level 10

用户6769

想达到官方API的水平不可能吧？这些大模型官方API都是满血版，600b起步。你想和官方打平，本地部署要掏个几百万搭个服务器，云端部署一个月十几万租赁费。要是还想超越官方，那就得再雇个程序员团队对模型微调，加强airp能力 [吃瓜]

2026年03月05日 14点03分 12