摘要：针对人脸图像识别问题,提出联合多模态表示的方法。采用二维经验模态分解(BEMD)对人脸图像进行分解,获得多层次二维内蕴模函数(BIMF),作为人脸的多模态表示。在分类阶段,采用多任务压缩感知模型(MTCS)对多层次BIMF进行表征,求解不同BIMF的稀疏系数矢量,进而计算不同类别对于当前测试样本的重构误差,根据重构误差判断样本所属类别。通过在ORL和Yale-B人脸图像数据集上开展实验,所提方法平均识别率分别达到75.42%和94.07%,且对噪声干扰具有良好的稳健性。

摘要：多模态机器学习是一种新的人工智能范式,结合各种模态和智能处理算法以实现更高的性能.多模态表示和多模态融合是多模态机器学习的2个关键任务.目前,多模态表示方法很少考虑样本间的协同,导致特征表示缺乏鲁棒性,大部分多模态特征融合方法对噪声数据敏感.因此,在多模态表示方面,为了充分学习模态内和模态间的交互,提升特征表示的鲁棒性,提出一种基于样本内和样本间多模态协同的表示方法.首先,分别基于预训练的BERT,Wav2vec 2.0,Faster R-CNN提取文本特征、语音特征和视觉特征;其次,针对多模态数据的互补性和一致性,构建模态特定和模态共用2类编码器,分别学习模态特有和共享2种特征表示;然后,利用中心矩差异和正交性构建样本内协同损失函数,采用对比学习构建样本间协同损失函数;最后,基于样本内协同误差、样本间协同误差和样本重构误差设计表示学习函数.在多模态融合方面,针对每种模态可能在不同时刻表现出不同作用类型和不同级别的噪声,设计一种基于注意力机制和门控神经网络的自适应的多模态特征融合方法.在多模态意图识别数据集MIntRec和情感数据集CMU-MOSI,CMU-MOSEI上的实验结果表明,该多模态学习方法在多个评价指标上优于基线方法.