基于特征点与多网络联合训练的表情识别

作     者：夏添 张毅锋 刘袁 Xia Tian;Zhang Yifeng;Liu Yuan

作者机构：东南大学信息科学与工程学院南京210096 东南大学-南京通信技术研究院南京211100 南京大学计算机软件新技术国家重点实验室南京210093 

基　　金：国家自然科学基金(61673108) 江苏省自然科学基金(BK20151102) 北京大学机器感知与智能教育部重点实验室开放课题(K-2016-03) 东南大学水声信号处理教育部重点实验室开放项目(UASP1502) 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2019年第31卷第4期

页      码：552-559页

摘      要：由于表情图片序列比单张表情图片的信息更丰富,因此基于前者的表情识别容易取得更好的实验效果.针对表情图片序列,提出一种仅基于人脸特征点信息和联合训练2个深度神经网络进行表情识别的方法.首先基于长度不定的图片序列抽取各帧之间差异最大化的子集;其次提取该子集中所有图片的特征点坐标进行预处理;再将坐标分别输入微观深度网络(MIC-NN)与宏观深度网络(MAC-NN)进行独立训练;最后基于惩罚MIC-NN与MAC-NN间差异的损失函数联合训练二者后,使用融合网络(FUS-NN)作为最终预测模型.在CK+,Oulu-CASIA,MMI这3个数据集中的实验结果表明,FUS-NN取得了优于绝大部分已知方法 1%～15%的识别率,仅在MMI数据集中落后于最优模型2%;相比之下,该网络的时间复杂度远远小于效果相近的模型,取得了更好的识别效果与计算资源的平衡.

主 题 词：表情识别 深度学习 联合训练 融合网络 

学科分类：08[工学] 080203[080203] 0835[0835] 0802[工学-机械学] 0811[工学-水利类] 0812[工学-测绘类] 

核心收录：

D　O　I：10.3724/SP.J.1089.2019.17342

馆 藏 号：203620940...