Macmini 本地部署Deepseek 70b模型
macmini吧
全部回复
仅看楼主
level 10
rockingbaby 楼主
跑70b模型每秒大概5tokens/s, 速度有些慢
换了32b模型推理速度能翻一番，10tokens/s左右，但至少比5080强，不会爆显存
M4pro 64G的满血配置，具体见截图左下角生成信息
2025年02月03日 08点02分 1
level 10
rockingbaby 楼主
两个模型都是4-bit量化的哈，要不这点内存还是远不够用
2025年02月03日 09点02分 2
level 6
快扁我
厉害，gpu在工作吗，还是纯内存cpu在跑
2025年02月03日 09点02分 3
rockingbaby
图1最底下4+10就是cpu，几乎0占用，但iState显示cpu gpu都是100+°C不知道为啥
2025年02月03日 10点02分
快扁我
@rockingbaby die包含gpu
2025年02月03日 10点02分
不想当大哥💤
@rockingbaby istat menus7吗
2025年02月04日 11点02分
rockingbaby
@不想当大哥💤 大佬意思istat menus传感器温度不准吗[汗]
2025年02月04日 12点02分
level 9
蒙先生y
用lm配置了没反应 你这有教程吗
2025年02月03日 17点02分 4
rockingbaby
PageAssist和ChatBox都测试成功了，B站好多教程配置应该不是难事[开心]
2025年02月03日 17点02分
level 1
坤坤-ikun
打游戏方便吗
2025年02月04日 01点02分 5
rockingbaby
游戏就别指望Mac了吧，有这预算上块N卡不更香
2025年02月04日 06点02分
贴吧用户_7XMa578
可以的 我这几天用m4 pro玩了 匹诺曹的谎言 2077 帝国时代3 流畅的很
2025年02月04日 07点02分
计算错误
@贴吧用户_7XMa578 博的之门3能顶住不？2077开什么画质？不需要虚拟WiN系统吧？
2025年02月10日 12点02分
level 2
丌兰
16G的丐版可以跑吗？刚入手了个 请教大神怎么跑
2025年02月04日 14点02分 6
rockingbaby
丐版就不建议本地部署了吧，即使7b部署完也智商堪忧，丐版推荐用ChatBox调用siliconflow的api，需要的话可以互助一下：https://cloud.siliconflow.cn/i/8acELLhZ
2025年02月04日 15点02分
帅哥98569856
32g运存可以跑
2025年02月05日 10点02分
Mdzz
丐版可以跑14b的，其实32b和14b差距不大。 70b往上的差距才体现出来，很明显。
2025年02月27日 05点02分
level 2
TopCon
5tps还行，勉强能用
2025年02月05日 03点02分 7
level 4
gaodirabin
我部署8b的，跑十分钟机器外壳温热，你的机器温度如何？
2025年02月10日 00点02分 8
rockingbaby
一样温热，风扇2000+，但一出结果温度骤降，散热还阔以的
2025年02月11日 11点02分
level 1
小白学习ai中
咱俩一样的配置，一样的速度。我感觉还可以，起码能跑70b了。但是画图速度还是差了很多。期待ultra512内存上市能便宜些，这样就可以抛弃pc架构了
2025年02月14日 07点02分 9
rockingbaby
512G的价格真不敢想啊[黑线]
2025年02月14日 12点02分
1