这篇是Michigan大学和ARM合作的发表在2017年 ISCA的论文《Scalpel: Customizing DNN Pruning to the Underlying Hardware Parallelism》，到今天的引用量为154。第一作者Jiecao Yu 俞杰草，本科毕业于浙江大学，14年留学密歇根大学（MS & Ph.D），导师Scott Mahlke，已经毕业在Facebook工作。

这篇论文发现了之前的剪枝方法虽然在weight的数量上减少了很多，但是由于稀疏运算的特性，它们在硬件上的效率不行。文章提出了两种新的剪枝方法，针对三种不同的硬件（Micro-controller，CPU，GPU），分别使用它们或者联合使用它们可以得到更高的加速比。

方法

• SIMD aware的剪枝
  • 将硬件的SIMD并行度作为剪枝的参数，一块一块地进行剪枝
  • 适用于Micro-controller和fc
• Node Pruning
  • 直接将一个neuron减掉
  • 适用于高并行度的GPU和conv

评价

这篇文章于2017年发表，当时有人已经意识到剪枝带来的硬件效率的问题，部分人选择在硬件架构的角度来做稀疏运算（如：2016 ISCA EIE, 2017 ISCA SCNN）；这篇文章反其道而行之，从软件的角度来思考问题，通过硬件的特性来优化算法，最后取得一个不错的加速效果。在之后的文章里面，软件-硬件的联合优化就成了一个大趋势（如 2019 ISCA Eager Pruning等）。