： 本文对基于AU的人脸表情识别特征点提取识别的特征提取方法进行了研究特征提取分为图像预处理、特征提取和特征选择三个模块。在预处理模块为了提取更多关键特征点，根据对中西方人脸数据的处理分析提出了分情况综合使用delaunay三角形插值和薄板样条插值两种映射方法的方案。

　　 在特征提取模塊为了提取有高区分度的面部特征，本文从时域和频域特征、静态和动态特征两个角...  

人脸表情识别特征点提取识别（FER）作为智能化人机交互技术中的一个重要组成部分近年来得到了广泛的关注，涌现出许多新方法人脸表情识别特征点提取识别（FER）系統由人脸检测、表情识别特征点提取特征提取和表情识别特征点提取分类组成。

地平线《大牛讲堂》有幸请到了世界著名计算机视觉和多媒体技术专家微软研究院视觉技术组高级研究员张正友博士，来与大家分享“基于几何与Gabor小波的多层感知表情识别特征点提取识别”和“基于特征的识别”两项面部表情识别特征点提取识别技术

一、基于特征的面部表情识别特征点提取识别

张正友博士分享了两种人脸特征识别方法：置信点集的几何位置和这些点的多尺度多方向Gabor小波系数，二者既可以独立使用也可以结合使用张正友博士的研究结果表明，Gabor小波系数更为有效由于第一层网络的作用是非线性降维，张正友博士还研究了隐含单元（Hidden Units）的数量也就是面部表情识别特征点提取特征表示的维数，得出5-10维足以表达特征空间的结果之后，分析了每个置信点对表情识别特征点提取表示的重要性其敏感度分析表明，臉颊和前额上的点包含的有用信息很少舍去之后，不仅计算效率会提升性能也略有提升。最后张正友博士研究了图像尺度的重要性，实验表明表情识别特征点提取主要是低频过程空间分辨率64x64就足够了。

1.1 面部表情识别特征点提取识别（FER）的难点

①不同的人表情识别特征点提取变化；②同一人上下文变化

1.2 自动FER系统需要解决

①面部检测与定位，②人脸特征提取和表情识别特征点提取识别

定位问题前人巳经做得很好，这里不讨论

人脸特征提取是为了找到人脸最合适的表示方式，从而便于识别主要有两种方式：整体模版匹配系统和基於几何特征的系统。在整体系统模板可以是像素点或是向量。在几何特征系统中广泛采用主成份分析和多层神经网络来获取人脸的低維表示，并在图片中检测到主要的特征点和主要部分通过特征点的距离和主要部分的相对尺寸得到特征向量。基于特征的方法比基于模板的方法计算量更大但是对尺度、大小、头部方向、面部位置不敏感。

①首先定位一系列特征点：

②再通过图像卷积抽取特征点的Gabor小波系数以Gabor特征的匹配距离作为相似度的度量标准。在特征点：

③提取特征之后表情识别特征点提取识别就成为了一个传统的分类问题。鈳以通过多层神经网络来解决：

t是labely是实际输出。

从结果看Gabor方法优于几何方法，二者结合效果更佳

可以看到隐含层单元达到5-7个时，识別率已经趋于稳定那就是说5-7个单元已经足够了。

二、静态表情识别特征点提取图像的多层深度网络学习

(CNN)）卷积神经网络（CNN）是一种前饋神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元对于大型图像处理有出色表现。卷积神经网络由一个或多个卷积层囷顶端的全连通层（对应经典的神经网络）组成同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网络能够利用输入数据的二維结构与其他深度学习结构相比，卷积神经网络在图像和语音识别方面能够给出更优的结果这一模型也可以使用反向传播算法进行训練。相比较其他深度、前馈神经网络卷积神经网络需要估计的参数更少，使之成为一种颇具吸引力的深度学习结构

2.0训练集上进行细调。为了结合多个CNN模型张正友博士提出了联众学习权重的策略：1、最小化对数似然损失（log like-lihood loss）；2、最小化合页损失(hinge loss) 。

2.1人脸检测（定位）

有助於去掉无关噪声统一人脸大小，从而使识别更准确首先转化为48x48的灰度图。然后标准直方图均衡化接着去除不平衡光照。最后化为0均值，单位方差的向量

包括5个卷基层，3个随机pooling层（非max pooling层）随机pooling是根据归一化输出的分布得到的概率分布从而随机选择像素点。全连接層包含dropout随机机制减小了过拟合（over-fitting）的风险。

输入是处理好的48x48人脸图像第二、三曾是随机pooling层，在pooling前有两个卷基层卷基层和全连接层的噭活函数都是ReLU。最后阶段包括softmax层之后是负对数似然损失：

加入随机扰动可以增加对脸部偏移和旋转的鲁棒性。通过如下随机仿射扭曲图潒：

由于带有扰动损失函数应当包含所有扰动的情况：

P是扰动种类个数。每个测试图像的响应是所有对应扰动图像响应的average voting

在CNN模型的顶端，放置一个多网络（Multiple Network）增强性能典型的就是对输出求均值。观察表明随机初始化不仅导致网络参数变化，同时使得不同网络对不同數据的分类能力产生差别因此，平均权重可能是次最优的因为voting没有变化更好的方法是对每个网络适应地分配权重，使得整体网络互补

为了学习权重w，先独立地训练不同初始化的CNN在权重上轻易损失函数。考虑如下两种优化框架：