摘要：在多模态情感分析领域,之前的研究主要集中在如何针对不同模态的信息进行交互融合。然而基于各种复杂的融合策略会使得生成的多模态表示向量不可避免地携带大量与下游任务无关的噪声信息,这会导致较高的过拟合风险,并且影响高质量预测结果的生成。为解决上述问题,根据信息瓶颈理论,设计了包含两个互信息估计器的互信息估计模块,旨在优化多模态表示向量与真实标签之间的互信息下界,同时最小化多模态表示向量与输入数据之间的互信息,以达到寻找一种简洁的、具有较好预测能力的多模态表示向量。利用MOSI、MOSEI和CH-SIMS数据集进行对比实验,结果表明提出的方法是富有成效的。

摘要：如何对模态进行有效表示和对模态间信息进行高效融合,一直是多模态情感分析领域的一个热点问题。已有研究大都以Transformer为基础,对其中自注意力模块进行改进以达到跨模态融合的效果。但基于Transformer的融合方式往往忽略了不同模态之间的重要程度,同时Transformer无法有效地捕捉到时间特征。为此,提出了基于跨模态调制及模态门控网络模型。该模型利用LSTM网络和BERT分别作为视觉、听觉和文本模态的表示子网络;利用改进的Transformer模型的跨模态调制模块对不同的模态信息进行有效的融合;设计了模态门控网络,模拟人类对来自不同模态的信息进行综合的判断。利用MOSI、MOSEI数据集进行了对比实验,结果表明所提出的方法有效地提高了情感分类的准确度。