摘要：多模态情感分析旨在从文本、图像和音频数据中提取和整合语义信息,从而识别在线视频中说话者的情感状态。尽管多模态融合方案在此研究领域已取得一定成果,但是已有方法在处理模态间分布差异和关系知识的融合方面仍有欠缺,为此,提出一种多模态情感分析方法。设计一种多模态提示门(MPG)模块,其能够将非语言信息转换为融合文本上下文的提示,利用文本信息对非语言信号的噪声进行过滤,得到包含丰富语义信息的提示,以增强模态间的信息整合。此外,提出一种实例到标签的对比学习框架,在语义层面上区分隐空间中的不同标签以进一步优化模型输出。在3个大规模情感分析数据集上的实验结果表明,该方法的二分类精度相对次优模型提高了约0.7%,三分类精度提高了超过2.5%,达到0.671。该方法能够为将多模态情感分析引入用户画像、视频理解、AI面试等领域提供参考。

摘要：焊缝信息的快速准确获取是实现自动化焊接的首要问题。然而,在实际焊接过程中,电弧、飞溅、强反射光等噪声会严重污染采集的图像,导致焊缝定位偏移,最终导致跟踪失败。为了提高跟踪过程中的焊缝定位精度与图像处理速度,本文提出了一种将激光条纹分割与焊缝特征点定位相结合的轻量级多任务深度学习模型。该模型由编码器和解码器组成,激光条纹分割子任务与焊缝特征点定位子任务共用编码器主干网络,解码器包含激光条纹分割分支和基于可微空间到数值转换(DSNT)的焊缝特征点定位分支,整个模型遵从轻量化设计思想,同时利用多个子任务之间的相关信息,进一步提升各子任务的性能。实验结果表明,所提模型能够有效克服各类焊接噪声,完成焊缝特征的提取,单幅图像的处理时间约为11.45 ms,特征点定位精度可达0.1872 pixel,在自动化焊接方面具有广阔的应用前景。