本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。

 同样精度，速度和计算量均少于此前SOTA算法。这就是华为诺亚方舟实验室提出的新型端侧神经网络架构GhostNet。

GhostNet的核心是Ghost模块，与普通卷积神经网络相比，在不更改输出特征图大小的情况下，其所需的参数总数和计算复杂度均已降低，而且即插即用。

关于GhostNet的论文已经被CVPR 2020收录，模型与代码也已经在GitHub上开源。华为诺亚方舟实验室是如何做到的？我们根据作者团队的解读，一一看来。

核心理念：用更少的参数来生成更多特征图

通常情况下，为了保证模型对输入数据有全面的理解，训练好的深度神经网络中，会包含丰富甚至冗余的特征图。

如下图所示，ResNet-50中，将经过第一个残差块处理后的特征图，会有出现很多相似的“特征图对”——它们用相同颜色的框注释。

这样操作，虽然能实现较好的性能，但要更多的计算资源驱动大量的卷积层，来处理这些特征图。

在将深度神经网络应用到移动设备的浪潮中，怎么保证性能不减，且计算量变得更少，成为研究的重点之一。

谷歌的MobileNet团队，以及旷视的ShuffleNet团队，最近想了不少办法来构建低计算量的深度神经网络。但他们采取的深度卷积或混洗操作，依旧是在卷积上下功夫——用较小的卷积核（浮点运算）。

华为诺亚实验室的团队没有沿着这条路前进，而是另辟蹊径：

“特征图对”中的一个特征图，可以通过廉价操作（上图中的扳手）将另一特征图变换而获得，则可以认为其中一个特征图是另一个的“幻影”。

这是不是意味着，并非所有特征图都要用卷积操作来得到？“幻影”特征图，也可以用更廉价的操作来生成？

于是就有GhostNet的基础——Ghost模块，用更少的参数，生成与普通卷积层相同数量的特征图，其需要的算力资源，要比普通卷积层要低，集成到现有设计好的神经网络结构中，则能够降低计算成本。

具体的操作在这里就不详细叙述了，如果你有兴趣，可以去看下论文（地址在文末）。

构建新型端侧神经网络架构GhostNet

Ghost bottleneck主要由两个堆叠的Ghost模块组成。第一个用作扩展层，增加了通道数。第二个用于减少通道数，以与shortcut路径匹配。然后，使用shortcut连接这两个Ghost模块的输入和输出。

研究团队表示，这里借鉴了MobileNetV2中的思路：第二个Ghost模块之后不使用ReLU，其他层在每层之后都应用了批量归一化（BN）和ReLU非线性激活。

此外，而且出于效率考虑，Ghost模块中的初始卷积是点卷积（Pointwise Convolution）。

第一层是具有16个卷积核的标准卷积层，然后是一系列Ghost bottleneck，通道逐渐增加。

最后，会利用全局平均池和卷积层将特征图转换为1280维特征向量以进行最终分类。SE模块也用在了某些Ghost bottleneck中的残留层。与MobileNetV3相比，这里用ReLU换掉了Hard-swish激活函数。

研究团队表示，这里的架构只是一个基本的设计参考，进一步的超参数调整或基于自动架构搜索的Ghost模块将进一步提高性能。

如此思路设计出来的神经网络架构，性能到底如何？研究团队从各个方面验证。

首先，在CIFAR-10数据集上，他们将Ghost模块用在VGG-16和ResNet-56架构中，与几个代表性的最新模型进行了比较。

计算机学院宣（文/图郭慧丰）2015年11月19日，应深圳互联网信息协同技术与应用重点实验室主任叶允明教授的邀请，华为公司诺亚方舟实验室（香港）的李震国研究员在A栋413为全校师生做了关于“华为诺亚方舟实验室的图挖掘技术”的学术讲座。

报告中，李震国研究员围绕华为诺亚方舟实验室的相关项目进行了深入浅出的讲解，报告的主要内容如下。首先，介绍了一种针对图数据、基于Markov Chains的学习框架——partially absorbing random walks。在这种框架下，一个随机游走者将在当前状态下，以一个确定的概率吸收来自邻居节点的流量，并以剩余的概率向外传导。在这一部分他对比了已有的pagerank、label propagation，以及图的拉普拉斯伪逆，并分析这些学习方法可以统一到前文提出的新的计算框架中；其次，介绍了一个最近的工作，基于尺度无关图数据的相似性计算方法——基于spark的simrank计算方法。该方法使用雅克比迭代法对原有计算进行分解，再通过蒙特卡洛采样方法进行模拟求解，减少计算复杂度，并使其可以分布式并行处理，极大的提升了运行效率。该工作发表于PVLDB2016。最后，介绍了2015年发表于ICDE的VENUS系统进行介绍和演示。这一系统是一个基于硬盘的图计算平台，可以计算大规模数据，并有很好的效率。一个无向图，有42million顶点，1.4billion边，有50台机器的spark集群进行计算需要8.1min，有高速硬盘的PC机的Graphchi计算需要13min，而一台只有普通硬盘的VENUS只需要5min就可以完成。

通过这一报告，师生们对于图计算以及大规模数据的图计算方法有了更多的了解和进一步的认识。报告过程中，师生和李震国研究员针对报告中的内容进行了沟通，李震国研究员对提出的问题给与认真细致的讲解和讨论，使大家受益匪浅，学习到了许多知识。

李震国研究员现就职于华为技术有限公司诺亚方舟实验室（香港），研究方向包括机器学习和人工智能。他分别在2002年和2005年获取北京大学数学学士和硕士学位，2008年毕业于香港中文大学信息工程学院，获得博士学位。曾经作为一名助理研究员，在美国哥伦比亚大学电子工程学院进行数年研究工作。目前李震国研究员的研究工作集中于大数据的图计算方法及其解决方案，主要研究成果发表于NIPS，ICML，CVPR，ICCV，VLDB，和ICDE等国际顶级会议。