12968B9
QAZRU2333
关注数: 1
粉丝数: 0
发帖数: 4,531
关注贴吧数: 16
度假球区划可提供基因研究人员岗位。 一个区划加200，约等于一个堕落建筑。
低成本本地部署 看了一个关于低成本地部署帖子之后，我问了一下deepseek如何改进。但我不知道对不对，有没有大佬解答一下。 原方案: 工程师马修·卡里根展示了在本地运行 Deepseek-R1 的完整的硬件 + 软件设置，他使用的是 670B 模型，无蒸馏，Q8 量化，实现全质量。总成本 6,000 美元。 🔹主板：技嘉 MZ73-LM0 或 MZ73-LM1。有 2 个 EPYC 插槽，以获得 24 个 DDR5 RAM 通道。🔹CPU：2x 任何 AMD EPYC 9004 或 9005 CPU。“LLM 一代的瓶颈在于内存带宽，因此您不需要高端产品。如果您真的想降低成本，请购买 9115 甚至 9015。” 🔹RAM：这是最重要的。需要 768GB（以适应模型）跨 24 个 RAM 通道（以获得足够快的带宽）。这意味着 24 x 32GB DDR5-RDIMM 模块。 🔹电源：该系统的功耗出奇地低！（<400W）“但是，您需要大量的 CPU 电源线来为 2 个 EPYC CPU 供电。Corsair HX1000i 的功率足够了。” 🔹机箱：具有用于安装完整服务器主板的螺丝安装座。 🔹散热器：适合AMD EPYC 有 SP5 插槽的就行。🔹最后，SSD：任何适合 R1 的 1TB 或更大的 SSD 都可以。“推荐 NVMe，只是因为启动模型时你必须将 700GB 复制到 RAM 中。”
1
下一页
