“因此,我认为更深的网络没有取得更好的结果是一个优化问题,而不是一个模型设计问题,又或者是模型能力问题。模型本身是有更大的潜力的,只是优化的方式需要改变。”
“而这就是深度残差的意义所在。”
“对于我们需要学习的任意一个映射H(x),我期待网络去学习一个F(x)+ x = H(x)中的F(x),而不是直接学习H(x)本身。”
“这个操作可以简单的通过增加一个加法实现,而距离H(x)差值为x本身的F(x),我们称之为关于恒等的残差映射。”
“如果这个恒等是理想的,那我们很容易将权重设置为很小的值。残差的形式很好地解决了一直以来都比较麻烦的梯度问题,可以看到,它使得上百层的网络可以持续地取得更好的性能。”
“在本次竞赛的识别分类上取得的成绩,只是残差思想最基础的体现,实际上,它是更好的特征提取器,可以更好地提取图像的特征以应用到各种图像任务中去。”
“不仅是本次竞赛的检测赛道,前两天白度的技术发布会上,想必大家也看到了明显的性能提升。”
说到这里,孟繁岐顿了一下,因为台下已经控制不住地开始议论纷纷。
虽然白度宣布了实时检测办法主要由孟繁岐这个特约研究员贡献,但对于具体的算法细节守口如瓶,什么也没有提。
只是承诺要等到6-12个月后会公布。
虽然众人大概都已经猜到,但听孟繁岐亲口说出,众人至少确定了一件事,那就是白度现在领先世界一大截的实时检测算法,是采用了DreamNet的。
“当然了,视觉类的任务还有非常多,除了我已经做过的生成,检测,分割,识别之外,还有姿态估计,深度估计,超分辨率等等等等。种类繁多,不一而足。”
“我的DreamNet论文已经公布,代码也已经开源,还有很多的方向需要大家一起去探索。”
孟繁岐吃了体量最大的几个赛道的蛋糕,自然也得留点汤给其他人。
在某个比较具体的方向,有几个十分得到认可的代表作就够了。
孟繁岐技术多得发不完,没必要把细分领域都一个个去自己做。
说白了就是稍微改改去让机器运行的事情,换一下数据,稍微调整下个别结构和参数。
把代码开源出来,让越来越多的工作基于自己的技术和算法去进行,是性价比更高