论文笔记: A regularization method for convolutional networks

这篇是Google Brain的Quec V.Le组是发表在NeurIPS 2018的论文《A regularization method for convolutional networks》。文章的第一作者是Golnaz Ghiasi(匈牙利或者瑞典),2011-2016加利福尼亚大学欧文分校(UCI)博士,第二作者是Tsung-Yi Lin,2009本科毕业于国立台湾大学,2017年博士毕业于康奈尔,现Google高级研究员(Senior Research Scientist)。

文章介绍了一种针对卷积的dropout方法,克服了普通的dropout因为稀疏性在卷积上依然传递空间信息的问题。该方法直接把feature map上的一些连续的空间块(block)设为0。

方法

  • BN层后面加
  • 训练阶段,从(block_size, w-block_size)这些区域里面选择sample mask,概率为γ
  • 以block_size扩张mask
  • 把feature map乘以mask

block_size和γ的选择

  • block_size实验选7号
  • γ根据keep_prob来计算,keep_prob从高到低线性降到0.9

结果

  • resnet50可以涨1.6个点
  • RetinaNet在COCO可以涨1.6个点
  • 不同resolution的层来做实验,可能是越大的resolution这个最佳block_size越高
  • 从CAM上来看,可以增加空间上更分散的表达

评价

非常简单易行的一个方法,增加空间上更分散的表达是一个很重要的点,期待后面有人可以分析一下。可以看到keep_prob其实比较高,说明每个层去掉的东西不多。不太能用来减少计算量,另外这个Dropblock加到哪里,其实没有讲清楚。

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×