摘要：针对现有方法在文本图像特征表示缺乏尺度变换,分辨率不足导致识别器难以提取到正确的文本内容信息指导重构网络的问题,提出多模态语义交互的文本图像超分辨率重构方法。利用语义推理模块中的注意力掩码对文本内容信息进行校正,获得语义先验信息,约束并指导网络重构语义正确的文本超分辨率重构图像。为增强网络的表征能力,适应不同形状和长度的文本图像,设计了多模态语义交互块,其基本单元由视觉双流集成块、跨模态自适应融合块和正交双向门控循环单元组成。视觉双流集成块利用全局统计特性和局部拟合能力互补优势,获得包含上下文理解的多粒度视觉信息,跨模态自适应融合块动态执行语义信息与多粒度视觉特征之间的交互协作,缩小模态间的特征差异;最后,正交双向门控循环单元建立多模态特征在垂直和水平方向上的文本依赖。实验结果表明,在TextZoom测试集上,本文提出的方法在PSNR和SSIM定量指标上相比于其他主流方法均有所提升,并且在ASTER,MORAN,CRNN 3种识别器的平均识别精度相比TPGSR模型分别提高了2.9%,3.6%和3.7%。由此表明,采用多模态语义交互方法的文本图像超分辨率重构,可以有效提高文本识别精度。

摘要：戏剧翻译理论的性质突出对文学性和表演性的同时关注,有利于戏剧的国际传播。本文从戏剧翻译理论的基础范畴入手,阐释戏剧翻译理论的多模态特质,并结合戏剧翻译案例,探索多模态理论视角下的戏剧翻译实践。研究表明,翻译中戏剧节奏的多模态处理、人物行为的多模态设计、戏剧情境的多模态整合,可取得很好的再现效果,值得中国戏剧外译借鉴。考虑到戏剧翻译的复杂结构,戏剧翻译还需将书面文本与构成戏剧事件的其他符号系统相结合。除了语言层面的关注,戏剧翻译还需要基于原文的理解将译文外化,在重建目标语言的同时务必要分析舞台表演的适用性。

摘要：隐式情感表达中缺乏显式情感词,给隐式情感分析带来一定的挑战。为有效解决此问题,借助外部信息是有效解决隐式情感分析的方法之一。与现有的主要借助单一文本信息的研究不同,提出一种融合多模态信息(包括语音和视频)的隐式情感分析方法。通过从语音中提取音调、强度等声学特征,以及从视频中捕捉面部表情等视觉特征,辅助理解隐式情感。利用BiLSTM网络挖掘各单模态内部的上下文信息;结合多头互注意力机制分别捕捉与文本相关的语音和视觉特征,并通过迭代优化,减少非文本模态的低阶冗余信息。此外,通过设计以文本为中心的交叉注意融合模块,强化隐式文本特征表示,并处理模态间的异质性,增强隐式情感分析的综合性能。在CMUMOSI、CMU-MOSEI、MUMETA数据集上的实验结果表明,所提出的模型优于其他基线模型。这种针对隐式情感分析的多模态处理策略,充分利用语音和视觉外部知识,更全面、准确地捕捉隐式情感表达,有效提升了隐式情感分析的准确率。

摘要：点云和视图2种模态的全局特征融合已经被证明有效,为了进一步挖掘细粒度的局部特征关系和模态间的互补关系以提升模型性能,提出了一种新的网络架构。该架构包含2个核心模块:设计了局部特征融合模块(LFM),通过特征矩阵的转置变化,集成2种模态在不同层次的局部特征,而特征互补增强模块则利用元素级的简单运算,获取模态间的区别性信息,并以此为根据量化出权重系数,最后加权增强特征,形成更强大的形状描述符。在ModelNet10和ModelNet40数据集上的实验结果表明,该网络在效率和性能上实现了平衡,并且在三维形状识别方面取得了先进的成果。

摘要：为挖掘腰椎磁共振成像(magnetic resonance image,MRI)图像中多种模态信息的相关性、腰椎结构间的相互依赖关系、腰椎结构先验知识对腰椎精准分割和疾病辅助诊断的重要价值,提出一种结构先验引导的多模态信息融合分割算法。设计的多模态图像编码模块(multi-modality encoding module,MMEM)可同时对T1和T2加权图像做语义特征提取;跨模态体素融合模块(cross-modality voxel fusion module,CMVF)可在融合过程中为各模态图像特征自适应分配融合权重。根据腰椎内部各组织结构间的先验知识构建图模型,利用图卷积神经网络分割模块(graph convolutional networks segmentation module,GCNSM)实现图模型上的语义信息传播。采用多模态图像解码模块(multi-modality decoding module,MMDM)对特征图进行解码,实现对椎体及椎间盘的精准图像分割。对山东大学齐鲁医院德州医院采集的190组患者MRI数据集进行试验验证,所设计算法的平均骰子系数Dice、交并比IoU、95%Hausdorff距离HD95和平均对称表面距离ASSD分别为90.3%、82.31%、4.40 mm和1.21 mm,结果表明了算法的有效性及先进性。

摘要：水分检测是粮食存储和贸易中不可或缺的一环,利用各种射频传感技术可以实现无损、快速地粮食水分检测。然而,现有方案都是基于单一种类射频信号开发的,针对不同射频信号需要训练对应检测模型,人力成本增加。基于此,提出一种融合多模态射频信号的粮食水分检测方法RF—Grain。首先,针对多径环境和硬件缺陷引起的噪声问题,提出一种WiFi信道状态信息(CSI)数据预处理方法;其次,提出一种域对抗神经网络模型,用以消除不同类型射频信号提取的粮食水分特征分布差异;最后,设计使用3种不同射频传感技术进行粮食水分检测的试验,以卷积神经网络作为对比,对所提出方法的性能进行评估,并与现有方法进行对比分析。试验表明,所提出方法能够有效检测5种不同含水率的粮食样品,总体准确率为分别为98.87%、96.22%和96.56%,优于传统的卷积神经网络,具有准确率高、泛化性好等优点,为粮食水分无损检测研究提供有力的技术支撑。

摘要：[目的/意义]通过多模态网络舆情数据的关联融合,为舆情分析提供全面的数据支撑,辅助开展复杂舆情决策。[方法/过程]首先,综合分析网络舆情的知识要素和语义关系,设计网络舆情本体模型(OPO),规范揭示网络舆情领域知识的概念和属性;然后,利用关联数据技术,通过实体命名、实体RDF化、实体关联化、关联数据的存储与发布等步骤,构建网络舆情关联数据集;最后,在借鉴已有评估实践的基础上,设立4个评估维度、23项具体指标。[结果/结论]以地震舆情为例,开展网络舆情关联数据集的创建与评估实验。结果表明,关联数据在网络舆情领域的应用,能够揭示数据之间的内在联系,促进多源异构数据的多维融合,为舆情的智能化分析提供数据支持。

摘要：乳腺癌是异质性较高的恶性肿瘤,不同个体病理表现、组织结构、形态、纹理特征及治疗效果等存在很大差异,针对乳腺癌异质性进行评价对个体化治疗方案设计及疗效预测具有重要意义。目前,利用多模态MRI可以敏感地评价病变范围、形态、边缘、内部强化方式及时间-信号强度曲线、表观扩散系数等信息,有望实现乳腺癌异质性的有效预测。人工智能在乳腺癌异质性多模态MRI评价方面具有较高的临床指导意义。本文基于人工智能乳腺癌异质性多模态MRI评价的研究进展进行综述,以提高乳腺癌的个体化诊治水平。

摘要：为解决视频描述任务中2D的CLIP预训练模型缺乏时序关系与动作检测敏感性以及信息冗余问题,提出一种基于CLIP的结合注意力掩码与运动表示增强的多模态融合视频描述模型。采用可学习令牌整理冻结的CLIP特征、运动特征与音频特征中的关键信息,优化多模态融合;引入关键词检测任务,提高关键信息提取能力;采用基于相关度的多头注意力掩码机制解决冗余问题;利用CLIP特征的向量差变换增强运动表示。实验结果表明,该模型性能优于现有视频描述生成方法,CIDEr指标在MSR-VTT数据集上提升了2.33%,在VATEX数据集上提升了3.12%。

摘要：现有的基于深度学习模型的农作物病害识别方法依赖特定农作物病害图像数据集进行图像特征学习,而忽视了文本特征在辅助图像特征学习中的重要性。为了更有效地提高模型对农作物病害图像的特征提取能力及病害识别能力,提出一种基于对比语言-图像预训练和多模态数据融合的农作物病害识别方法(CDR-CLIP)。首先,构建高质量的病害识别图像-文本对数据集,利用文本信息增强农作物病害图像的特征表示;其次,利用多模态融合策略有效结合文本特征与图像特征,以加强模型对病害的判别能力;最后,针对性地设计预训练和微调策略,从而优化模型在特定农作物病害识别任务中的表现。实验结果表明,在PlantVillage和AI Challenger 2018农作物病害数据集上,CDR-CLIP的病害识别准确率分别达到99.31%和87.66%,F1值分别达到99.04%和87.56%;在PlantDoc农作物病害数据集上,CDR-CLIP的平均精度均值mAP@0.5达到51.10%,展现出CDR-CLIP强大的性能优势。