论文笔记 《Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks with Octave Convolution》

这篇文章是发表在ICCV2019的《Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks with Octave Convolution》,作者是Facebook AI的Yunpeng Chen,博士毕业于新加坡国立。

这篇文章从频域的角度分析了图像中高频和低频信息的作用,通过改造卷积,让卷积显式地分别处理高频和低频的特征,从而提升准确率,降低计算量。

方法

图像中高频和低频信息的作用

  • 高频:信息变化快,提取的是细节的信息
  • 低频:信息变化慢,提取的是整体的信息

Octave表示

  • 使用低分辨率图像表示低频特征
  • 使用高分辨率图像表示高频特征

Octave Conv

  • 卷积分别处理低频和高频特征
  • 信息交互
    • 低频特征Conv之后升维度
    • 高频特征降维度之后Conv
    • 和普通处理的信息加起来

实验

  • ImageNet
    • 随着一层里面高低频率信息的比例变化,比例适中acc最高,整体呈现小山包形状
    • 相比普通的resnet,最高提升了大约2个点
  • 频率分析
    • 直观从频域图上看
    • 低分辨率组不包括高频信息,反之亦然
    • 证实了低频组提取低频信息的假设

总结

显式地把一些Heuristic的东西用网络结构的方式表现出来,值得学习。

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×