微软&中科大提出新型自动神经架构设计方法NAO

从几十年前 [13, 22] 到现在 [48, 49, 28, 39, 8]，无人干预的神经网络架构自动设计一直是机器学习社区的兴趣所在。关于自动架构设计的最新算法通常分为两类：基于强化学习（RL）的方法 [48, 49, 37, 3] 和基于进化算法（EA）的方法 [42, 35, 39, 28, 38]。在基于 RL 的方法中，对架构组件的选择被看作是一个动作。一系列动作定义了神经网络的架构，其开发集准确率被用作奖励。在基于 EA 的方法中，搜索是通过架构组件的变异和再组合来进行的，性能更优的架构会被筛选出来继续进化。

可以很容易观察到，基于 RL 和 EA 的方法本质上都是在离散的架构空间中执行搜索。因为神经网络架构的选择通常都是离散的，例如 CNN 中的滤波器大小还有 RNN 单元中的连接拓扑（connection topology）。然而，在离散空间中直接搜索最优架构是很低效的，因为随着选择的增加，搜索空间会呈指数增长。本研究提出一种优化网络架构的新方法，将架构映射到一个连续的向量空间（即网络嵌入），利用基于梯度的方法在该连续空间进行优化。一方面，与自然语言的分布式表示类似，架构的连续表示在表示拓扑信息时更加紧凑和有效； 另一方面，由于更加平滑，在连续空间中进行优化比在离散空间内直接搜索容易得多。

研究者将这种基于优化的方法称为神经架构优化（NAO），如图 1 所示。NAO 的核心是一个编码器模型，负责将神经网络架构映射到一个连续表示（图 1 左侧蓝色箭头）。在连续表示上建立一个回归模型来逼近架构的最终性能（如开发集上的分类准确率，图 1 中间黄色部分）。这里值得注意的是，回归模型类似于之前研究中的性能预测器 [4, 27, 11]。新方法与之的区别在于如何利用性能预测器：之前的研究 [27] 使用性能预测器作为启发来选择已生成的架构，以加速搜索过程，而新方法直接优化模块，并通过梯度下降获得更好网络的连续表示（图 1 中间底部黑色箭头）。然后利用优化的表示来产生预测性能更好的新神经网络架构。为了实现这一点，NAO 的另一个关键模块被设计成解码器，从连续表示中恢复离散架构（图 1 右侧红框箭头）。解码器是配备了注意力机制的 LSTM 模型，可以实现精准恢复。这三个组件（即编码器、性能预测器和解码器）在多任务设置中接受联合训练，这有利于连续表示：恢复架构的解码器目标能进一步改善架构嵌入的质量，更有效地预测性能。

研究者进行了大量实验来验证 NAO 在图像分类和语言建模任务上的有效性。使用之前研究 [48, 49, 37, 27] 常用的架构空间，通过 NAO 找到的架构在 CIFAR-10 上达到了 2.07% 的测试集误差率（使用了 cutout 正则化 [12]）。此外，在 PTB 数据集上，该架构实现了 55.9 的困惑度，也超过了神经架构搜索方面的之前最优方法。此外，研究者还展示了：使用最近 [37] 提出的 ENAS 中的权重共享机制来减少子模型参数空间中的较大复杂度，该方法可以提高发现强大的对流和循环架构的效率，例如，在 1 个 GPU 上花费不到 10 小时。研究者将很快发布代码和模型。

论文：Neural Architecture Optimization

论文链接：https://arxiv.org/abs/1808.07233

摘要：自动神经架构设计非常有助于发现强大的神经网络结构。现有的方法，无论是基于强化学习（RL）还是进化算法（EA），都是在离散空间中进行架构搜索，效率非常低。本文提出了一种基于连续优化的自动神经架构设计方法。这种新方法被称为神经架构优化（NAO）。该方法有三个关键部分：（1）编码器，将神经网络架构嵌入/映射到连续空间；（2）预测器，将网络的连续表示作为输入，并预测其准确率；（3）解码器，将网络的连续表示映射回其架构。性能预测器和编码器使我们能够在连续空间中执行基于梯度的优化，以找到潜在的准确率更高的新架构嵌入。然后将这个更优的嵌入使用解码器解码到网络。实验表明，该方法所发现的架构在 CIFAR-10 上的图像分类任务和 PTB 上的语言建模任务中都表现强劲，在计算资源明显减少的情况下都优于或持平于之前的架构搜索最佳方法。其中 CIFAR-10 图像分类任务的测试集误差率为 2.07%，PTB 语言建模任务的测试集困惑度为 55.9。在两个任务中发现的最优架构可被成功迁移到其他任务，如 CIFAR-100 和 WikiText-2。此外，结合最近提出的权重共享机制，我们在计算资源都很有限的情况下（在一个 GPU 上 10 小时）在 CIFAR-10 和 PTB 上发现了功能强大的架构，前一个任务上的最优模型误差率为 3.53%，后一个任务上的困惑度为 56.3。

B 是单元内的节点数。N 是发现的正常单元（normal cell）被展开形成最终 CNN 架构的次数。F 表示滤波器大小。#op 是对单元中一个分支的不同操作数，是自动架构设计算法的架构空间尺度指标。M 是经过训练以获得所需性能的网络架构总数。/ 表示该标准对特定算法无意义。NAONet-WS 表示 NAO 发现的架构和权重共享方法。