论文笔记 《Resolution Adaptive Networks for Efficient Inference》

这篇是发表在CVPR2020的论文《Resolution Adaptive Networks for Efficient Inference》,清华黄高老师组的最新Adaptive的成果,第一作者是Le Yang, Yizeng Han和Xi Chen。

这篇论文对MSDNet进行了改进,提出了RANet,先以低分辨率feature maps输入一个神经网络进行计算,再使用高分辨率feature maps输入一个神经网络进行计算。低分辨率图像就足够分类简单样本了,然后再使用高分辨率的feature maps处理复杂样本。

方法

网络结构设计

  • 用steam的几个conv生成不同resolution的初始特征
    • 第一个特征通过Regular-Conv层产生,后面的特征通过Strided-Conv层产生
  • 最小的resolution特征上进行分类
  • 更高resolution使用Fusion Blocks来融合自Sub-network的特征
    • 一种为图3b的保持特征图大小
    • 另一种为图3c的降低特征图大小
    • 上采样使用Up-Conv(Regular-Conv+Bilinear interpolation)
  • TODO: 具体组织形式看代码

训练

  • loss function采用weighted cumulative loss,文章里用相同weight
  • train集合分出一个validation集合来进行threshold的搜索,但训练还是在整个train集合上训练的

结果

  • Anytime Prediction
    • 任意一个sample都小于computation budget
    • RANets好于ResNet ensemble,是因为它是专门为simple samples设计的
  • Batch Budget Prediction
    • 好于MSDNet

可视化

  • 高低分辨率可能的原因
    • 同一图片多物体
    • 小物体
    • 没有明显特征
      • 从low-frequency和high-frequency的角度解释

总结

这篇论文改进了MSDNet,有更高的性能,并且讨论了可能的原因。

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×