本地部署问路 - claude吧

level 8

黑色浪潮楼主

呃，上了4050，16g
想着也终于有资本上本地模型了。
遂来，Github里面的部署项目看了看，虽然对Python上的ai方向一窍不通，但看到使用的都是key，就是拉别人家的模型来用，显然还是有限制的，做不到真正的本地。
但ai的本地模型又在哪里找却是没人介绍。
问问路，也许有人回复？

2024年04月29日 07点04分 1

level 2

诸神无念

text generation webui本地部署大语言模型，上hugging face上下模型，网上有教程
目前较好的中文模型像yi，还有最近很火的llama3，我目前使用几个本地模型感觉和gpt3.5比都不如，对话太僵硬，远不如Claude。

2024年04月29日 07点04分 2

黑色浪潮

这样啊，好的

2024年04月29日 08点04分

黑色浪潮

研究了一下午。关键是claude现在封号太厉害了

2024年04月29日 08点04分

流行风

@黑色浪潮从来没被封过，都是自己的google账号，一直订阅官网

2024年05月10日 00点05分

level 6

和谐的东瓜

b站有详细教程

2024年04月29日 13点04分 3

level 1

彈指一揮間Z

4050？跑不了。语言模型比ai绘画要求还高呢

2024年04月29日 15点04分 5

level 1

º香风智乃º

4050那点显存够干嘛的

2024年04月29日 20点04分 6

黑色浪潮

无所谓，webui云端部署也不是没有。云算力时代已经来了，代价是稳定与否真想部署还是有人的但其实我一年前部署过了，有种怪怪的感觉，而且出字量太少，格式化严重，当然那时候就是玩玩，模型都不知道用的什么鬼。

2024年04月29日 23点04分

黑色浪潮

@黑色浪潮不过小克太香了

2024年04月30日 00点04分

level 11

岚宝好困喔💤

只能说本地部署4090都不够用，能用和能部署是两码事
本地部署之后，开头对话看起来是那么一回事，过几句你就知道纯纯zz了，你要拿来ss，S克知道不？用的最低版本in的小克模型，低配版haiku，你要是觉得用这个都难受，本地部署只能爱这个更难受且有过之而无不及 [滑稽]

2024年04月29日 23点04分 7

黑色浪潮

可是A社封杀cookie，普通2.49现在一天日抛率33%，一个月下来费率成倍上涨，没啥办法了属于是

2024年04月30日 00点04分

starcraftvs

@黑色浪潮 …真的假的，我感觉最近不太封号了。我登官网用都不封号了 [汗]

2024年04月30日 02点04分

黑色浪潮

@starcraftvs 不道啊。我从水秋那里买的第二天就“NULL”了

2024年04月30日 03点04分

杉菜🍭

@starcraftvs 现在呢？

2024年05月09日 09点05分

level 5

谚沁

你不如用gemini或者
cohere，虽然gemini马上就要收费了，我看过一些大神的视频，搭建本地模型起码12G往上的才勉强能有些逻辑，要想比较好的体验4090这种显卡都不够看的，而且本地搭建特别是那些要求高的模型，回复速度也不是一般人能接受的，一次对话回复时间一分钟甚至更久，而且体验还不好。总的来说，就现阶段你想要好的体验那是不可能的，现在大模型是需要很多算力和数据集的，本就不是给我们这种普通用户搭建玩的(至少现在不行)，所谓本地搭建都是究极阉割版，但凡体验过claude这类的模型你就不会感兴趣了。

2024年04月30日 00点04分 8

黑色浪潮

gemini还是cohere。没有教程api转酒馆，破限配置成问号。此外还行。需要开发。我做不到无教程死磕。

2024年04月30日 01点04分

谚沁

@黑色浪潮啊？什么b站一搜就有的酒馆教程，破限一搜一问就有的。教程遍地都是，饭都喂嘴里了。会不会吃看自己了。gemini好像要吃饭嗷5月14收费了，赶紧用。

2024年05月03日 01点05分

黑色浪潮

@谚沁什么饭喂嘴里了？酒馆我一年前就搭好了。 b站搜索酒馆api你自己看哪里来的教程。第三方api是clewd4.7还是4.8后出的，discord那边还在开发，现在新鲜都很。另外破限不是熟饭，每个平台的审查都有其风格。

2024年05月03日 10点05分

黑色浪潮

@谚沁另外，玩gemini换ip频繁我被干了。目前玩cohere还行。