论文笔记 Scalpel: Customizing DNN Pruning to the Underlying Hardware Parallelism

这篇是Michigan大学和ARM合作的发表在2017年 ISCA的论文《Scalpel: Customizing DNN Pruning to the Underlying Hardware Parallelism》,到今天的引用量为154。第一作者Jiecao Yu 俞杰草,本科毕业于浙江大学,14年留学密歇根大学(MS & Ph.D),导师Scott Mahlke,已经毕业在Facebook工作。

这篇论文发现了之前的剪枝方法虽然在weight的数量上减少了很多,但是由于稀疏运算的特性,它们在硬件上的效率不行。文章提出了两种新的剪枝方法,针对三种不同的硬件(Micro-controller,CPU,GPU),分别使用它们或者联合使用它们可以得到更高的加速比。

方法

  • SIMD aware的剪枝
    • 将硬件的SIMD并行度作为剪枝的参数,一块一块地进行剪枝
    • 适用于Micro-controller和fc
  • Node Pruning
    • 直接将一个neuron减掉
    • 适用于高并行度的GPU和conv

评价

这篇文章于2017年发表,当时有人已经意识到剪枝带来的硬件效率的问题,部分人选择在硬件架构的角度来做稀疏运算(如:2016 ISCA EIE, 2017 ISCA SCNN);这篇文章反其道而行之,从软件的角度来思考问题,通过硬件的特性来优化算法,最后取得一个不错的加速效果。在之后的文章里面,软件-硬件的联合优化就成了一个大趋势(如 2019 ISCA Eager Pruning等)。

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×