这篇文章是发表在ICCV2019的《Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks with Octave Convolution》,作者是Facebook AI的Yunpeng Chen,博士毕业于新加坡国立。
这篇文章从频域的角度分析了图像中高频和低频信息的作用,通过改造卷积,让卷积显式地分别处理高频和低频的特征,从而提升准确率,降低计算量。
方法
图像中高频和低频信息的作用
- 高频:信息变化快,提取的是细节的信息
- 低频:信息变化慢,提取的是整体的信息
Octave表示
- 使用低分辨率图像表示低频特征
- 使用高分辨率图像表示高频特征
Octave Conv
- 卷积分别处理低频和高频特征
- 信息交互
- 低频特征Conv之后升维度
- 高频特征降维度之后Conv
- 和普通处理的信息加起来
实验
- ImageNet
- 随着一层里面高低频率信息的比例变化,比例适中acc最高,整体呈现小山包形状
- 相比普通的resnet,最高提升了大约2个点
- 频率分析
- 直观从频域图上看
- 低分辨率组不包括高频信息,反之亦然
- 证实了低频组提取低频信息的假设
总结
显式地把一些Heuristic的东西用网络结构的方式表现出来,值得学习。