论文笔记: Towards Accurate and High-Speed Spiking Neuromorphic Systems with Data Quantization-Aware Deep Networks

这篇是发表在DAC2018的论文《Towards Accurate and High-Speed Spiking Neuromorphic Systems with Data Quantization-Aware Deep Networks》,作者是克拉克森大学(Clarkson University)的Fuqiang Liu和Chenchen Liu,Chenchen Liu本科毕业于陕西科技大学,硕士北京大学,博士比兹堡大学,现在是克拉克森大学的Assistant professor。

文章解决SNN网络的浮点运算与实际硬件计算需要更低的bit数目的gap。实际硬件(如忆阻器)一般使用3-4bit的weight数据表示,然后inter-layer signals越大,能量消耗越大,因此作者将网络中的Activation(文中叫inter-layer signals)与Weight按照实际需求的3-4bit去量化,然后在部署实际硬件中测试性能。

方法

Neuron Convergence

  • 在activation的两端加带权值的L1正则化,让activation绝对值尽量不超过$2^{k-1}$
    • 在activation绝对值超过$2^{k-1}$给予更大的惩罚
  • 数值分布上启发式分析了这样做的error

Weight Clustering

  • 实际上就是weight的量化,最小化量化损失
    • 假定了weight [-1,1]
  • 采用了k-nearest,虽然说也能做到,但是这样做太浪费资源了

实验

  • 在Lenet Alexnet ResNet这几个网络和MNIST和CIFAR10数据集上测试
  • 使用了忆阻器硬件,32x32的crossbar
  • 4bit ResNet18 降低3%的精度
  • 和8-bit进行比较,能减少90%以上的能耗和30%-40%的Area开销

评价

分析到SNN网络与实际硬件之间的gap这点很有意义。但是提出的方法没有什么创新点,并且实验也是很多漏洞的。比如没有考虑有关Spiking造成的误差,另外也没有考虑BN层和Pooling层的处理。这方面的需要更多的研究,是一个机会。

#
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×