论文笔记 《Dynamic Convolution: Attention over Convolution Kernels》

这篇是发表在ECCV2020的文章《Dynamic Convolution: Attention over Convolution Kernels》,作者是微软研究院的Yinpeng Chen、Zicheng Liu等人。

文章为了增加网络的表示复杂性,针对不同的输入样本动态使用不同的卷积核,虽然整个网络计算量不会发生变化,但是网络的复杂性得到提升。

方法

Dynamic Convolution

  • Attention:使用和SE block一样的Global Avg Pool+FC+Softmax的方法
  • Kernel Aggregation:卷积的weight是由多个weight加权得到

Insight

  • Attention的加和为1
  • 在早期训练的epochs里面,用的是接近均值的Attention
  • 这两点是和以前的方法最大的不同

实验

  • ImageNet
    • Each layer has K = 4 convolution kernels
    • DY-ResNet-18
      • 42.7M 1.85G 72.7(提升2.3) (origin 11.1M 1.81G 70.4)
    • DY-MobileNetV2 x1.0
      • 11M Param 312.9M MAC 75.2% top1 (origin 300M 72%)
    • DY-MobileNetV3-Small
      • 4.8M 68.5M 70.3(2.9) (origin 2.9M 66.0M 67.4)
  • COCO 2017 single-person keypoint detection
    • Backbone和head都dynamic AP提到62.8(3.6)
    • 仅Backbone dynamic AP 62.3
    • 仅Head dynamic AP 60.3(1.1)

总结

Kernel级别的Dynamic,不一定要减计算量,增加性能也是另一个方向。

论文笔记 《Resolution Adaptive Networks for Efficient Inference》

这篇是发表在CVPR2020的论文《Resolution Adaptive Networks for Efficient Inference》,清华黄高老师组的最新Adaptive的成果,第一作者是Le Yang, Yizeng Han和Xi Chen。

这篇论文对MSDNet进行了改进,提出了RANet,先以低分辨率feature maps输入一个神经网络进行计算,再使用高分辨率feature maps输入一个神经网络进行计算。低分辨率图像就足够分类简单样本了,然后再使用高分辨率的feature maps处理复杂样本。

方法

网络结构设计

  • 用steam的几个conv生成不同resolution的初始特征
    • 第一个特征通过Regular-Conv层产生,后面的特征通过Strided-Conv层产生
  • 最小的resolution特征上进行分类
  • 更高resolution使用Fusion Blocks来融合自Sub-network的特征
    • 一种为图3b的保持特征图大小
    • 另一种为图3c的降低特征图大小
    • 上采样使用Up-Conv(Regular-Conv+Bilinear interpolation)
  • TODO: 具体组织形式看代码

训练

  • loss function采用weighted cumulative loss,文章里用相同weight
  • train集合分出一个validation集合来进行threshold的搜索,但训练还是在整个train集合上训练的

结果

  • Anytime Prediction
    • 任意一个sample都小于computation budget
    • RANets好于ResNet ensemble,是因为它是专门为simple samples设计的
  • Batch Budget Prediction
    • 好于MSDNet

可视化

  • 高低分辨率可能的原因
    • 同一图片多物体
    • 小物体
    • 没有明显特征
      • 从low-frequency和high-frequency的角度解释

总结

这篇论文改进了MSDNet,有更高的性能,并且讨论了可能的原因。

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×