深度学习现有的高度、与人类的差距、未来
laodar吧
全部回复
仅看楼主
level 8
ieBugH 楼主
本帖不求一次写好,希望能通过多次补充修改讨论尽可能全面地找出现有方法的瓶颈
2017年07月22日 07点07分 1
level 8
ieBugH 楼主
1.神经网络的深度(视觉)
人脑:retina-->v1-->v2/v4-->ITp/ITa,虽然有争议,但终究很难超过5层(不含输入层)。关于为什么每个功能区只算1层:沿着微柱的垂直方向的细胞对相同的刺激感兴趣(待补充证据)。
CNN:一般都要超过5层(含全连接层)
人脑用5层就能识别得很好很大程度是因为反馈连接以及眼动,如果要求人类在极短时间内识别毫不相关的一系列输入,恐怕准确率不及CNN。
人类的眼动和注意力机制使得人类可以获取一幅图片几乎无限精度的信息,若存在歧义,就继续收集信息以试图消除歧义,而CNN通过一次前馈只会不断丢失信息,只能通过在训练时学会如何尽可能提取最有利于训练任务的信息。
2017年07月22日 07点07分 2
level 8
ieBugH 楼主
2017年09月06日 13点09分 3
1