摘要：情绪识别系统旨在提供一种人与机器之间沟通情感的通道,为提高情绪识别准确率,开发了一款基于面部和脑电两个模态决策融合的情绪识别系统,实现4分类情绪识别。针对面部模态使用OpenCV对面部图像进行人脸定位、截取、直方图均衡化等预处理,在Keras平台构建VGG16、DenseNet121和本文设计的卷积神经网络(CNN)模型。针对脑电模态使用FP1通道进行快速傅里叶变换后分为5个频段,再使用傅里叶反变换为时域信号,使用标准差特征提取,最后使用K近邻算法实现情绪识别。决策融合方面提出一种基于加权平均的决策融合算法。系统方面基于树莓派平台开发,搭载TGAM芯片、蓝牙、摄像头和触控屏。使用Fer2013表情数据集对面部模态分类算法测试最高准确率86%。使用DEAP情感脑电数据集验证脑电模态算法取得最高准确率77%。最后设计实验验证多模态融合系统最高取得准确率为96%。