论文笔记 《ReActNet: Towards precise binary neural network with generalized activation functions》

这篇文章是发表在arxiv2020的《ReActNet: Towards precise binary neural network with generalized activation functions》,作者CMU的Zechun Liu(香港科技大学)和Zhiqiang Shen,CMU的导师是Marios Savvides。

文章通过三种方法提升了二值化神经网络的精度。1.设计了一个类MobileNetV1的网络。2.显式地通过RSign和RPReLU学习Activation的distribution。3.通过类似于知识蒸馏的方法,学习原网络的output。

方法

设计了一个类MobileNetV1的网络

  • 取消了depth-wise的操作,全部都是正常卷积
  • 将降采样block的设置为两个block的concat
  • 每一个conv都要Residual-connection

学习Activation的distribution

  • 因为需要在每一个block之前对activation进行二值化,网络对这里二值化的分割点比较敏感
  • 在Addition之后加ReAct-PReLU,在block的第一个conv之前加
  • 使用RReLU学习二值化分割点
  • 使用RPReLU学习0点的位置

知识蒸馏

  • 使用一个ResNet-34的输出来作为target,直接计算KL loss

实验

  • 两步训练
    • 第一步训练Binary Activation的,但是weight是float的
    • 第二步训练binary activation & binary weight
  • 结果
    • baseline 58.2%
    • distribution loss 59.6%
    • Proposed baseline + distribution loss 62.5%
    • +Prelu 65.5%
    • +Rsign 66.1%
    • +Rprelu 67.4%
    • +Rsign+Rprelu 69.4%
    • Float model 72.4%

总结

activation对信息的编码在二值化之后会显著下降,这篇paper通过对activation进行参数化,学习到最优参数以保留更多的信息。

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×