USI(Ultra Scaled Image) 比waifu2x快10倍以上的图像2倍放大算法 - dwing吧

level 13

dwing 楼主

自创的算法, 目前尚在实验中, 质量和性能仍有改进空间, 预览对比如下(左:原图, 中:USI, 右:waifu2x):

2016年03月21日 06点03分 1

level 13

dwing 楼主

一些说明:
USI类似waifu2x, 需要对已有图片做放大训练积累参数, 训练和放大的图片风格越接近越好, 目前也确实对2D卡通图片效果最佳.
不过与waifu2x使用DNN算法不同, USI只使用统计算法, 性能要高得多, 但质量与waifu2x还有些距离, 不过还有改进的空间, 目前至少在2D卡通图片上明显超越了lanczos等常用算法.
10倍的性能差异是跟waifu2x-caffe且使用GPU加速的情况下, 相比USI还没有加入SIMD,多线程,GPU等优化.

2016年03月21日 06点03分 2

level 9

wgxie

我是外行，进来看看热闹了。
希望能早日成熟到可以用于视频处理。
呵呵！

2016年03月21日 08点03分 3

level 11

-小凉弱弱-

镇楼
图用肉眼没能发现与waifu2x有什么区别 [狂汗]

2016年03月21日 08点03分 4

dwing

仔细看是有区别的, 少数细节比waifu2x差些. 不得不承认waifu2x的质量几乎完美, 超越几乎是不可能的.

2016年03月21日 08点03分

dwing

另外区别较小是因为暂时使用waifu2x处理的结果来训练USI, 不太容易找更好的缩放图片来训练.

2016年03月21日 08点03分

zhihao06

外行人问一句，为什么不用一张大图缩小后进行处理，再和原大图对比来训练？难道说waifu2x放大之后可以比原图更好？

2016年03月21日 16点03分

dwing

@zhihao06 最早就是用缩小图训练的，但效果没有训练waifu2x的结果好，貌似waifu2x做了一些图像优化处理。

2016年03月21日 23点03分

level 7

空之飞翔之春哥

确实不错，simd和多核优化一下，即使不用gpu都能到实时了。就效果和速度而言，和neddi比如何

2016年03月21日 08点03分 5

level 7

鸣人的血

似乎可以加入madvr（如果速度真的这么可观的话）

2016年03月21日 12点03分 7

dwing

最好支持GPU加速才适合实时播放

2016年03月21日 12点03分

鸣人的血

@dwing 应该会有人帮忙写ocl之类的版本吧，毕竟现在大家都希望能有一个速度和质量介于nnedi3和waifu的算法

2016年03月21日 12点03分

level 12

黑暗匕首

手机上看不清楚，但是手臂上的数字好像没有waifu锐利。

2016年03月21日 18点03分 8

level 10

弯弯太阳

不知道和nnedi相比如何

2016年03月22日 00点03分 10

dwing

nnedi没有直接的工具转换图片, 所以我不方便对比. 不过根据 tieba.baidu.com/p/3999123538 来看. nnedi3边缘是很模糊的, 跟waifu2x的差距很大.

2016年03月22日 02点03分

level 14

yswysc

虽然看不懂原理但是效果摆在这里，希望楼主早日成功，造福社会 [吐舌]

2016年03月22日 09点03分 12

level 13

dwing 楼主

大致看了下waifu2x的算法, 确实运算量高的吓人, 如果不支持GPU而使用纯CPU运算是很不现实的.
scale2x需要经过7层卷积:
1=>32 (32次卷积)
32=>32 (32x32次卷积)
32=>64 (32x64次卷积)
64=>64 (64x64次卷积)
64=>128 (64x128次卷积)
128=>128 (128x128次卷积)
128=>1 (128次卷积)
一共是31904次卷积, 每次卷积都要计算把图片每个像素跟3x3矩阵做点乘运算.
也就是说需要图片像素数量*287136的乘法加法组合.

2016年03月24日 06点03分 13

dwing

其它还有运算量相比较小的bias修正, 数值过滤及累加等运算. 不过所有运算都是简单且密集的运算, 很适合用GPU并行.

2016年03月24日 06点03分