端到端增强卷积网络的视频人脸表情识别研究

作     者：唐武宾 童莹 曹雪虹 TANG Wu-bin;TONG Ying;CAO Xue-hong

作者机构：南京邮电大学通信与信息工程学院江苏南京210003 南京工程学院信息与通信工程学院江苏南京211167 

基　　金：国家自然科学基金项目(61703201) 江苏省自然科学基金项目(BK20170765) 

出 版 物：《软件导刊》 (Software Guide)

年 卷 期：2022年第21卷第3期

页      码：42-48页

摘      要：视频人脸表情识别在无人驾驶、智慧医疗等多领域都有广泛应用。针对视频单帧特征提取存在信息损失的问题,提出单帧增强卷积网络,该网络采用浅层特征与深层特征融合实现特征增强,其中浅层特征为CNN中间层外延卷积模块实现浅层特征提取,深层特征为CNN网络最后一层融合空洞卷积和基于通道间注意力机制,实现特征通道重定位和强弱信息结合。又由于视频相邻帧存在相关性,提出多帧增强卷积网络,其采用帧间注意力机制,根据视频帧之间的相关性给视频帧打分从而得到视频的关键帧,继而实现多帧特征增强。最后对设计的模型在AFEW数据集、CK+数据集、SFEW数据集、FER数据集上进行验证,其中AFEW数据集上对视频表情识别的准确率从40.00%提升到45.19%,F1分数从0.31提升到0.3937。该网络模型不仅能应用于静态图像,而且能应用于动态视频,同时也能提高表情识别准确率,降低误差,从而提升识别效率。

主 题 词：表情识别 单帧增强卷积网络 注意力机制 多帧增强卷积网络 AFEW数据集 

学科分类：1305[艺术学-设计学类] 13[艺术学] 08[工学] 081104[081104] 0804[工学-材料学] 081101[081101] 0811[工学-水利类] 

D　O　I：10.11907/rjdk.211619

馆 藏 号：203109358...