这篇是Google Brain的Quec V.Le组是发表在NeurIPS 2018的论文《A regularization method for convolutional networks》。文章的第一作者是Golnaz Ghiasi(匈牙利或者瑞典)，2011-2016加利福尼亚大学欧文分校(UCI)博士，第二作者是Tsung-Yi Lin，2009本科毕业于国立台湾大学，2017年博士毕业于康奈尔，现Google高级研究员（Senior Research Scientist）。

文章介绍了一种针对卷积的dropout方法，克服了普通的dropout因为稀疏性在卷积上依然传递空间信息的问题。该方法直接把feature map上的一些连续的空间块(block)设为0。

方法

• BN层后面加
• 训练阶段，从(block_size, w-block_size)这些区域里面选择sample mask，概率为γ
• 以block_size扩张mask
• 把feature map乘以mask

block_size和γ的选择

• block_size实验选7号
• γ根据keep_prob来计算，keep_prob从高到低线性降到0.9

结果

• resnet50可以涨1.6个点
• RetinaNet在COCO可以涨1.6个点
• 不同resolution的层来做实验，可能是越大的resolution这个最佳block_size越高
• 从CAM上来看，可以增加空间上更分散的表达

评价

非常简单易行的一个方法，增加空间上更分散的表达是一个很重要的点，期待后面有人可以分析一下。可以看到keep_prob其实比较高，说明每个层去掉的东西不多。不太能用来减少计算量，另外这个Dropblock加到哪里，其实没有讲清楚。