从等待到动手:在Mac mini上本地部署DS R1的那些事儿
deepseek吧
全部回复
仅看楼主
level 8
TheDeerGod 楼主
最近,DeepSeek R1真的火得不得了。无论是API还是网页端都频繁出现不可用的情况,每次想用的时候都要祈祷服务器能正常运行。作为一个技术爱好者,看着别人家的大模型呼风唤雨,自己却只能干着急,心里自然有些痒痒。
终于有一天,我决定不再等待DeepSeek的服务器恢复,而是选择自己动手解决问题!毕竟,听说R1是一个开源模型,或许可以在本地部署试试看。
于是,我开始研究如何在Mac mini上运行这个14B的大模型。说实话,刚开始的时候感觉有点懵,因为对于一个非技术人员来说,搭建一个深度学习环境并不是一件简单的事。但幸好,网上有很多教程可以参考,再加上一些耐心和毅力,最终还是成功了!
整个过程大致分为以下几个步骤:
硬件准备:Mac mini的性能其实不错,特别是M2或更高配置的机型,在本地运行R1这样的大模型完全没问题。
环境搭建:安装必要的软件和服务,比如Ollama或者其他支持DeepSeek R1的框架。这个过程涉及到一些命令行操作,但只要按照教程一步步来,还是比较顺利的。
下载与配置:获取DeepSeek R1的模型文件,并进行相应的配置。这里可能需要一定的存储空间和网络带宽,不过Mac mini的SSD速度很快,下载起来也还算快。
测试运行:终于到了最激动人心的时刻!输入第一个问题,等待模型返回结果。看着本地环境中顺利运行的R1,那种成就感真的无法用语言形容。
通过这次实践,我不仅成功避开了DeepSeek服务器不稳定的问题,还学到了很多关于深度学习部署的知识。更重要的是,本地部署让我可以更自由地使用模型,完全不受网络和服务器状态的影响。如果你也对技术动手感兴趣,不妨试试看在自己的设备上运行一些开源的大模型。毕竟,技术的魅力就在于不断地探索与实践!
#DeepSeekR1#

#本地部署#
#Macmini#[滑稽][滑稽]
2025年01月27日 20点01分 1
level 8
TheDeerGod 楼主
另外真的想自己本地部署的朋友们,https://ollama.com/ 请[滑稽]其实部署起来挺简单的,跟着操作来就行,对电脑配置的需求也比其他传统ai模型小得多
2025年01月27日 20点01分 2
level 5
感谢大佬,收藏了
2025年01月28日 02点01分 3
[滑稽]其实帖子是用本地部署的ds r1生成的但是你可以看我后面发的都是自己写的
2025年01月28日 03点01分
@TheDeerGod 小白不是很懂[乖]之后仔细研究一下
2025年01月28日 03点01分
level 7
配置需求小是什么概念?
2025年01月28日 03点01分 5
我跑的14b模型,显存或者统一内存大于9g就行显存+共享显存也就是内存>9g的也能跑,但是速度会慢很多,更极端点的可以拿固态来跑,这个就纯纯是🐢速了
2025年01月28日 03点01分
配置需求发楼下了,你可以看看
2025年01月28日 03点01分
因为你ds r1跑出同效果的推理能力的模型大小比别的模型小很多,因此很多配置更低的家用电脑都能跑了
2025年01月28日 03点01分
@TheDeerGod 理解你的意思了。不过我以为是在选择完专家模型后的几十B模型可以直接对等跑,什么时候到专家模型时可以选择600B中的完整版就完美了
2025年01月29日 03点01分
level 8
TheDeerGod 楼主
根据自己显存/统一内存大小来选择模型便是[滑稽]像macmini m4统一内存16g起步,14b模型需要9g就可以用这个,又或者4060是8g显存,那就只能选8b的模型了,不过加上你自己的内存也就是共享显存也能跑14b或者更大的模型,但是会慢很多很多很多很多,因此不建议[滑稽]
2025年01月28日 03点01分 6
救命我下错了,16g显存我下了32b的。不管了都下几个小时了死活我也要试试[怒]
2025年02月05日 08点02分
@木偶提线他的我 Win的话内存够也是能跑的,就是速度会慢很多[滑稽]
2025年02月05日 10点02分
level 8
真厉害啊,可以可以[怒]
2025年01月28日 03点01分 7
level 6
大佬,如果是想模仿知名作者文风的话,部署了本地写出来的质量和非本地的有多大区别啊,还是说区别不大?
2025年01月29日 03点01分 8
有区别,70b的那个有90%的效果,这种更小的嘛,权当图一乐了,只能说能玩,比原版模型还是差了不少意思的[滑稽]
2025年01月29日 03点01分
@TheDeerGod 希望能早点把服务器搞好点吧...太卡了现在
2025年01月29日 04点01分
level 1
本地建议运行32b的ablated版,abliterated 版和uncensored 版降智了,不知道是微调还是量化的问题。
2025年01月29日 09点01分 10
这两个版本有什么区别呢,都是破除限制吗
2025年01月31日 09点01分
level 1
本地部署的应用场景在哪?我试了写小说完全不行
2025年01月29日 09点01分 11
接入qq微信bot给群友当个猫娘什么的还是可以的[滑稽]
2025年01月29日 17点01分
@TheDeerGod 出个教学[滑稽]
2025年01月29日 17点01分
@TheDeerGod 无法击穿敌方护甲[呵呵]
2025年01月31日 09点01分
level 1
m1 16GB 选择哪个版本呢
2025年02月01日 05点02分 12
14b
2025年02月01日 06点02分
好的 谢谢~
2025年02月02日 02点02分
level 1
M4 32G可以跑32b的吗
2025年02月08日 02点02分 13
可以
2025年02月08日 03点02分
level 1
楼主,RTX4050
16GB
内存512GB
配哪种好啊?
另外我这个在ollama下载不下来框架,一直转圈圈,是不是要联外网啊?
是什么问题?
2025年02月18日 09点02分 14
估计是16g内存512g固态...你要拿4050跑的话要根据显存选
2025年02月18日 12点02分
@TheDeerGod 那通常这种情况应该选哪一种?🧐🧐🧐
2025年02月19日 08点02分
1