我算是和矩阵乘法杠上了。
起因是很久之前发现使用1080TI计算float矩阵乘法误差会比CPU大，刚开始以为是老黄在浮点运算上动了手脚降低精度，后来查阅CUDA文档确认默认按IEEE-754来的，即四则运算FMA都是round to nearest, 简单的向量加减甚至内积计算结果都与CPU的一毛一样，一个位都不变。（这部分是matlab实现的，matlab内部调用cuda）
问题来了，按GPU的结构矩阵乘法的分块只会比CPU更多，我使用的是0-1间均匀分布的随机矩阵，更多的分块理论上误差应该会更小些。
我所知道的只剩一种可能，CU-blas使用了strassen类的算法。我拿出自己之前写的strassen代码，4096x4096的double矩阵，strassen递归到分块为64时与MKL/OPENBLAS得到的结果相差大约为Openblas与mkl之间差别的10倍（frobenius范数）。
理论上显卡的结构对strassen这类算法也是有利的，所以老黄的cu-blas里是否使用了strassen算法？

不懂帮顶

不懂

自己测试了下，不恰当的矩阵乘法实现，或者strassen算法都会增加测试中的误差。调整分块大小，strassen递归层数误差会随之变化，误差范围涵盖了GPU所得的误差，但无法准确重现GPU的误差。且其结果与GPU结果之差大于以上这些误差。
针对strassen算法恶意构造的矩阵实测可以放大自己的strassen算法误差，但对GPU的误差没有影响。
所以就算CUBLAS使用了strassen算法，其实现方式也与我写的不一样。更可能是计算路径不一样导致误差大了点。

github上一翻一大堆。如果用CPU运算的话，记得调用AVX2指令集。
AVX2比SSE4.2估计少说也要快10倍
https://software.intel.com/zh-cn/articles/intel-sdm
https://docs.microsoft.com/zh-cn/previous-versions/hh977023(v=vs.140)

感觉进错了吧