RTX4090单卡实现民用DS R1满血版，不过条件有些苛刻！ -。-
amd吧
全部回复
仅看楼主
level 14
FrapsH♂ 楼主
要想使用 KTransformers 也有一点硬性条件，而不是说只要有一张 RTX 4090 就能无障碍运行。
先决条件要保证：
CPU：英特尔至强 Gold 6454S 1T DRAM（2 个 NUMA 节点）
GPU：RTX 4090D（24G VRAM）
内存：标准 DDR5-4800 服务器 DRAM（1 TB）
CUDA 12.1 或更高版本
民间手持4090的各位大神们，还不赶紧行动起来！？[滑稽]
2025年02月15日 14点02分 1
level 14
FrapsH♂ 楼主
百姓家庭的电脑撑爆了看来和清华大学的配置还是相差甚远，
光是1T容量的DDR5服务器内存就直接把99.999%的用户扼杀在了摇篮里~~[滑稽]
和王校长一个级别的电脑配置倒是可以踊跃尝试下~[吐舌]
2025年02月15日 14点02分 2
level 1
Hydroxide__
志强黄金加1tdram的价格购买好几张4090的了
2025年02月15日 14点02分 3
FrapsH♂
[吐舌]u know~[哈哈]
2025年02月15日 15点02分
level 13
虫莽_虫它
金牌志强[啊]8*128GB DDR5 这价格要上天了，还是双路2666v3+ 1t d3比较现实，虽然慢了“一点”，至少价格还算可以接受
2025年02月15日 15点02分 4
FrapsH♂
又到了洋垃圾发光发热的时刻了[哈哈]
2025年02月16日 01点02分
贴吧用户_J7E5b2A401
第一代金牌+D4，价格也能接受
2025年02月16日 23点02分
level 8
火星红色星球
那么大的 q4_k_m 看不见
量化后精度下降太厉害。和AI聊天看不出来，让它写代码去了就明显了。
强化要调优的，有门槛的。反正我现在不会。
2025年02月15日 23点02分 6
火星红色星球
而且是4090 24G + 130 DRAM。说明有些层是跑在系统内存上的，不然量化后还是塞不进24。 这没啥技术含量。量化模型，我用llama.cpp里配置 -ngl 参数把部分层放到系统内存，很快就能搞好。但精度，性能就随缘了。 很多自媒体只会比模型参数个数。[笑眼]
2025年02月15日 23点02分
lly0571
@火星红色星球 大型模型降到q4还是问题不大的…
2025年02月16日 00点02分
火星红色星球
@lly0571 深入用过一些应用就会有体会。比如我在学ai 自动编码。 如果只是聊天机器人，问题是不大
2025年02月16日 23点02分
lly0571
@火星红色星球 建议你先看一下qwen的文档。 一般从bf16用awq或者gptq量化到int4只降低1-2个点的性能，大型模型总体损失更少。q4km的gguf的总体质量和4-bit awq模型差距不大。
2025年02月17日 00点02分
level 14
FrapsH♂ 楼主
同样的配置，把显卡换成7900XTX不知道效率如何？[突然兴奋][突然兴奋][突然兴奋]
2025年02月16日 00点02分 7
lly0571
这个框架现在不支持a卡
2025年02月16日 00点02分
FrapsH♂
@lly0571 [啊]
2025年02月16日 01点02分
贴吧用户_J7E5b2A401
Lunix下可以跑双XTX，相当90的7成，不过48G可以上更大模型
2025年02月16日 23点02分
1