论文笔记 《A Semi-Supervised Assessor of Neural Architectures》

这篇文章是发表在CVPR2020的《A Semi-Supervised Assessor of Neural Architectures》,作者来自北京大学Yehui Tang,华为诺亚方舟实验室Chunjing Xu为通讯作者。

文章提出了一种网络性能预测器,在NAS的场景下,不用训练网络得到网络性能,而是直接用性能预测器预测网络的性能,从而减少搜索时间。使用了AutoEncoder + 图网络的结构来实现半监督学习。

方法

网络Embedding表示

  • 使用AutoEncoder将邻接矩阵表达的网络结构Embedding到一个向量
  • 采用重建Loss训练

网络关系图谱

  • 一个网络是图中的node
  • 由网络结构的Embedding的距离,建立网络关系图谱
    • 距离小于Threshold 才有边
    • 边根据距离设定weight

性能预测器

  • 直接预测关系图中每一个node(网络)的accuracy
  • sample一些labeled样本和unlabeled样本一个batch的graph。
  • 网络关系图谱用Labeled训练集训练(半监督)
    • 训练同时优化Labeled node周围连边的非Labeled node的accuracy

实验

  • Autoencoder
    • 2Conv+FC
    • FC+2Conv
  • 性能预测器
    • 两层图网络
  • 把预测器放到RL或者EA里面替代evaluate
  • 在NASBench 1K个网络的accuracy可以很好地预测到94.01的网络(最好是94.41%)

评价

半监督为性能预测器打开了一个新的思路,采用图网络的解决方案是一个很不错的方向。之前学术十杰答辩的时候有人问到因为网络结构与网络性能之间的映射关系很不平坦,所以会有一些质疑,但是从实验结果来想,我认为统计上确实相似的网络有相似的性能。

#
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×