浅谈P104炼丹
图拉丁吧
全部回复
仅看楼主
level 11
全面深化改革
楼主
前情提要：
鼠鼠
去年12月跑毒太仓促，金丹未成，毒障已至，只得携带一张P106RUN回鼠窝。如今药草齐备，炉子却欠缺几分火候，立马下单一张P104。
初五139到付买的P104，初九发货，然后立马降价20，现在119到付能买到。鼠鼠我铁铁的冤大头。但当用不惜，懒得计较。
首先摆上P106和P104，Adia64的gpgpu。
2023年02月01日 09点02分
1
level 11
全面深化改革
楼主
卷积模型比较吃单精度浮点，P104单精度7TF，P106单精度4.6TF。P104是P106的1.5倍左右。
2023年02月01日 09点02分
2
level 11
全面深化改革
楼主
但是IO差了4倍，唯一的问题是PCIEx4会不会成为炼丹瓶颈。
2023年02月01日 09点02分
3
level 11
全面深化改革
楼主
先上数据，P106的用时，模型楼下讲
2023年02月01日 09点02分
5
level 11
全面深化改革
楼主
模型是ResNet50，改造一下卷积用于基因的识别
2023年02月01日 09点02分
6
level 11
全面深化改革
楼主
P104用时
2023年02月01日 09点02分
7
level 11
全面深化改革
楼主
100步
P106，用时4min30s左右
p104，用时3min09s左右
2023年02月01日 09点02分
8
level 11
全面深化改革
楼主
快42%
2023年02月01日 09点02分
9
level 11
全面深化改革
楼主
用的pytorch的datasets类，数据是4*400，batchsize128，显存占用5712MB
2023年02月01日 10点02分
10
level 11
全面深化改革
楼主
初步结论是，在卷积模型训练的过程中I/O瓶颈并不是主要矛盾。
但我猜后续测试集需要高IO时候可能会慢一点。
2023年02月01日 10点02分
11
原力一黑武士
会不会是你在windows下，DataLoader无法启动多线程数据加载，让你感觉CNN的I/O瓶颈并不是主要矛盾？
2023年02月17日 09点02分
全面深化改革
@原力一黑武士
炼丹新手，我理解的多线程是用于多卡的，多线程是写入内存，gpu从内存中读的时候还是单线程的（一个任务一个线程）。
2023年02月17日 11点02分
全面深化改革
@原力一黑武士
我觉得IO是否瓶颈取决于gpu的处理速度、模型的复杂度。p104单精度只有7.3TF，除非是训练特别简单的模型，正常情况在训练阶段应该还不会造成IO瓶颈。但是在训练后模型的使用阶段IO会是主要矛盾。
2023年02月17日 11点02分
level 11
全面深化改革
楼主
鼠鼠没有做过RNN或自然语言处理的项目，听说这些比较吃IO，做这些项目的同学在购买P104就要斟酌了。
2023年02月01日 10点02分
12
level 11
全面深化改革
楼主
另外鼠鼠我是新派炼丹佬，用win10炼丹，用的是p106吧吧主发的驱动。在Ubuntu系统上应该可以用apt直接装驱动。
win10装的驱动在linux子系统中不能识别，所以不能用nvtop直接看pxie带宽占用。
2023年02月01日 10点02分
13
level 12
小熊宝宝🔯
win炼丹有时候：不怎么方便，没linux顺手，除了驱动
2023年02月01日 10点02分
14
全面深化改革
主要win能装迅雷和百度网盘
2023年02月01日 10点02分
小熊宝宝🔯
@全面深化改革
百度网盘有linux，这种小软件虚拟机就搞定了
2023年02月01日 10点02分
1
