摘要：关键词抽取是指能自动抽取反映文本主题的词或者短语,被广泛应用于文本检索、文本摘要等领域中。目前关键词抽取任务主要依赖于预训练语言模型来获取文本表示,这类语言模型主要基于单一模态的通用文本语料进行训练,存在无法根据下游任务特性进行领域适配和语义表征能力有限的问题。该文提出一种多模态信息增强表示的中文关键词抽取方法MIEnhance-KPE,首先引入Adapter层将偏旁和部首信息集成到预训练语言模型层中,得到领域自适应的文本表示;其次利用卷积神经网络提取汉字的图像特征,同时使用交叉注意力机制融合汉字图像特征和文本特征,实现文本语义表示增强;最后利用条件随机场(conditional random field,CRF)模型进行序列标注任务,并计算词语的位置-词频权重对其进行排序获得关键词。与目前十分先进的关键词抽取方法KIEMP相比,MIEnhance-KPE在公开的中文科学文献数据集和自构建的中文教育关键词抽取数据集上的F值分别提升了15.71%和3.40%;消融实验结果表明,所提出的领域自适应模块和视觉语义增强表示模块均能有效提高关键词抽取的准确性。MIEnhance-KPE的提出有助于教育研究者精准了解教育发展趋势,促进教育理论和实践的创新。

摘要：目的从多模态信息交互的角度优化现有的交互景观设计流程,提高用户体验和交互效果,并探讨交互景观的未来发展趋势。方法基于现有的交互景观研究现状与相关案例,以多模态交互理论与技术为支撑,归纳人机交互在景观设计中的角色。通过梳理设计原则,以多模态交互景观系统中的交互场景、多模态信息、用户需求与意图三要素为导向,以多模态信息采集、处理与决策、终端反馈三个模块构建出多模态交互景观设计策略,并对其中多模态信息的关系进行梳理。结论通过对多模态信息的处理与运用,能够实现交互景观在不同情境和用户状态下的设计框架优化,多模态信息融合为提高景观的信息表达效率以及感知体验提供了多样化的思路,能够带来更丰富、自然的交互体验。最后探讨了交互景观在交互界面与设备多样化、趋向实体与虚拟相结合的交互模式以及交互景观与城市系统化的结合趋势。

摘要：为了解地面钻孔作业肌肉疲劳发展特征,避免疲劳累积,降低工作相关肌肉骨骼疾患(WMSDs)风险,设计并组织地面钻孔试验,通过采集作业过程中作业人员多模态肌肉疲劳信息研究其风险。招募8名大学男生进行试验,测量地面及20 cm高以及20 s和40 s钻孔任务下多模态肌肉疲劳数据:任务操作量、主观评分、生理参数和姿势;然后运用统计学方法分析地面类型及任务时长对作业过程肌肉疲劳的影响,进行回归分析以分析各肌群肌肉疲劳发展,利用姿势分析方法分析姿势风险。结果表明:钻孔作业肌肉疲劳明显;作业前后握力下降显著;主观用力评分(RPE)、主观痛感评分(RPA)和主观振动不适评分(RPV)均随时间显著上升;腰背RPE评分最高;20 cm高作业肌肉疲劳风险较高,具有较高姿势风险评分;身体右侧肌肉疲劳风险较高;20 s任务肌肉疲劳风险较高于40 s任务。

摘要：[目的/意义]研究多模态信息搜索特征有利于发现用户在图文音频信息搜索过程中的特征,进一步丰富多模态信息搜索以及信息行为的理论研究,为多模态信息系统建设和多模态信息素养提升提供依据。[方法/过程]本研究依托经典的信息搜索行为理论,通过实验法和统计分析法,分析受过高等教育群体的多模态信息搜索行为特征,提出多模态信息系统开发与设计和多模态信息素养提升建议。[结果/结论]通过实验研究,发现目前多模态信息搜索在准确性上表现较好,而完整性上则表现较差。在需求阶段需求理解上比较费时,普遍存在重复确认现象。在搜索方式上仍以文字搜索和跨平台搜索为主,且搜索策略调整次数较多,在搜索模态上转变较频繁。在信息收集上集中于百科类网页,特别是百度百科占了绝大多数,而社交媒体和电商应用软件也成为用户的多模态信息来源之一。

摘要：为了挖掘视频中不同的模态信息,提出一种基于多模态信息的视频描述算法。在基本的编码解码器网络基础上,更加关注视频多模态信息和高级语义属性。在编码器阶段,提取视频的静态特征、光流特征和视频段特征,同时设计语义属性检测网络得到视频高级语义特征。为了避免解码器阶段的曝光偏差和训练损失与评价准则不统一的问题,采用基于强化学习的训练算法直接将客观评价准则作为优化目标来训练模型。所提出的算法在公开视频描述数据集MSVD上取得了很好的实验效果。

摘要：随着互联网和数字技术的快速发展,视频数据在网络中的重要性日益凸显,用户对视频检索的需求随之增加。针对传统视频检索方法在挖掘视频内容方面的局限性,设计一种融合多模态信息的电视视频检索系统,利用深度学习技术从视频中提取图像和文本信息,并建立检索模型以进行信息融合,最后为融合后的信息建立储存服务器,实现更准确、更全面的视频检索。

摘要：多模态Web信息融合系统能对多模态信息进行综合处理,降低信息的不确定性,为用户提供更为丰富和准确的信息。本文首先对多模态信息融合的理论内涵及多模态信息融合系统的服务层次进行分析,并设计了多模态Web信息融合系统的组件化模型。最后从服务架构、服务模式、服务平台、服务策略四个方面对系统服务机制进行分析论述。

摘要：针对计算机辅助诊断中的相似病例查找,提出一种基于多图半监督学习模型的多模态信息检索算法.首先将医学影像和文本视为互为补偿的不同模态的信息,根据2种信息分别构建图模型,并定义多图融合的半监督学习框架;然后在融合图上进行流形排序,得到最终的病例检索结果.在乳腺X线影像数据库和肺部CT影像数据库上的实验结果表明,该算法能够有效地利用影像和文本信息进行病例检索,具有更好的检索性能.

摘要：深度神经网络在实际应用中的局限性日益凸显,具备生物可解释性的类脑计算脉冲神经网络成为了人们研究的热点课题。应用场景的不确定性及复杂多样性给研究者提出了新的挑战,要求类似生物大脑组织具备多尺度架构的类脑计算脉冲神经网络,能够实现对多模态、不确定性信息的感知决策功能。文中主要介绍了多尺度生物合理性的类脑计算脉冲神经网络模型及其面向多模态信息表征和不确定信息感知的学习算法,并分析探讨了基于忆阻器互联的脉冲神经网络可实现多尺度架构类脑计算的两个关键技术问题,即多模态、不确定信息与脉冲时序表示一致性问题和多尺度脉冲神经网络学习算法与容错计算问题。最后,对类脑计算脉冲神经网络的研究方向进行了分析与展望。

摘要：通过多模态视角对露天矿安全双控管理系统进行交互设计研究,提出露天矿安全双控管理系统移动终端多模态交互设计模型,优化露天矿安全双控管理体验。从多模态交互理念出发,根据露天矿隐患排查治理流程,提出从场景与时间两个维度来划分隐患治理环境中的多模态提示信息,从而引导用户关注多模态呈现信息,并构建相关的多模态信息结构和设计方法。文章以露天矿安全双控管理系统移动端为研究对象,对多模态交互设计方法进行验证。煤矿企业在安全生产管理工作中要重视多模态交互设计方法的运用,从而提高管理效率,推进煤矿企业的安全双控信息化、智能化管理。