这篇是Google Brain的Quec V.Le组是发表在NeurIPS 2018的论文《A regularization method for convolutional networks》。文章的第一作者是Golnaz Ghiasi(匈牙利或者瑞典),2011-2016加利福尼亚大学欧文分校(UCI)博士,第二作者是Tsung-Yi Lin,2009本科毕业于国立台湾大学,2017年博士毕业于康奈尔,现Google高级研究员(Senior Research Scientist)。
文章介绍了一种针对卷积的dropout方法,克服了普通的dropout因为稀疏性在卷积上依然传递空间信息的问题。该方法直接把feature map上的一些连续的空间块(block)设为0。
方法
- BN层后面加
- 训练阶段,从(block_size, w-block_size)这些区域里面选择sample mask,概率为γ
- 以block_size扩张mask
- 把feature map乘以mask
block_size和γ的选择
- block_size实验选7号
- γ根据keep_prob来计算,keep_prob从高到低线性降到0.9
结果
- resnet50可以涨1.6个点
- RetinaNet在COCO可以涨1.6个点
- 不同resolution的层来做实验,可能是越大的resolution这个最佳block_size越高
- 从CAM上来看,可以增加空间上更分散的表达
评价
非常简单易行的一个方法,增加空间上更分散的表达是一个很重要的点,期待后面有人可以分析一下。可以看到keep_prob其实比较高,说明每个层去掉的东西不多。不太能用来减少计算量,另外这个Dropblock加到哪里,其实没有讲清楚。