double型精度,在减法中无法修复的问题
vb.net吧
全部回复
仅看楼主
level 1
蓝梦妖蝶
楼主
double型数据我一般用转成string然后再转成double的方法修正精度
decimal可以解决,但是治标不治本。还是会有概率出现0.9999999999这种情况。
最近发现转成字符再转回来,也有修正不了的精度。
如下公式,i=52,num=6.1,num_step=-0.1。结果就算出来0.9999999了。
j= num +num_step * (i- 1.0)
2021年01月22日 07点01分
1
1