摘要：针对长文本语义匹配中词向量前后之间联系不易捕获以及主题信息可能不唯一,通常使得语义匹配效果不佳的问题,提出了一种基于bert与密集复合网络的长文本语义匹配方法,通过bert嵌入与复合网络的密集连接,显著提高了长语义匹配的准确率。首先,将句子对输入bert预训练模型,通过迭代反馈得到精准的词向量表示,进而得到高质量的句子对语义信息。其次,设计了一种密集复合网络,先由双向长短期记忆网络(Bi-LSTM)获得句子对的全局语义信息,然后由TextCNN提取并整合局部语义信息得到每个句子的关键特征和句子对间的对应关系,并将bert与Bi-LSTM的隐藏输出与TextCNN的池化输出融合。最后,汇总训练过程中网络之间的关联状态,可以有效防止网络退化和增强模型判断能力。实验结果表明,在社区问题回答(CQA)长文本数据集上,本文方法平均提升幅度达到45%。

摘要：功能扩展是实现产品创新设计的重要途径,而数据驱动又是产品功能扩展的关键支撑技术,据此提出文本挖掘与专利数据协同驱动的产品功能扩展研究方法,为已有产品的精准变更及升级提供定量研究方法。首先,分析目标产品功能-结构信息,并在现有网络模型基础上融合局部超图网络模型对产品进行建模,以此计算产品元件重要性;其次,在检索获取英文专利文本数据的基础上,运用词性标注(Part-of-speech tagging,POS tagging)和依存句法(Dependency parsing,DP)构建规则算法以挖掘语句中的主语-谓语-宾语(Subject-action-object,SAO),并获取同类产品的全部功能和结构信息;再次,以专利文本数据为语料库,通过基于变换器的双向编码器表示(Bidirectional encoder representations from transformers,bert)训练词向量,作为查找相似结构和相似功能的工具,并结合协同推荐算法提出了四种扩展策略:目标元件其他功能扩展,目标元件相似功能扩展,相似元件其他功能扩展以及相似组件其他功能扩展。最后,结合企业需求以一种手持花洒产品为案例验证了研究方法的可行性及有效性。

摘要：【目的/意义】在谣言检测过程中,针对文本的上下文语义特征和主题语义特征没有得到充分挖掘的问题,提出了一种融合bert和主题模型的谣言检测方法,提升谣言检测效果。【方法/过程】利用bert模型挖掘文本动态上下文语义特征,利用主题模型挖掘文本主题语义特征;同时结合了微博影响力和用户可信度特征,并在微博影响力特征设计阶段考虑了时效性因素;将以上特征进行充分融合,构建谣言检测模型。【结果/结论】以微博真实数据进行实证分析,实验结果表明,该方法在进行谣言检测任务时效果较好,准确率最高达到了93.68%,相较于表现性能最好的传统机器学习方法、深度学习方法、融合特征方法分别提升了约9.92%、3.29%、7.75%,能够实现对谣言的有效检测。此外,在微博影响力特征设计阶段考虑时效性因素更有助于提升谣言检测效果。【创新/局限】谣言检测效果仍有一定提升空间,未来可尝试结合用户评论内容特征进一步提升谣言检测效果。

摘要：现代系统越来越复杂,传统的工程方法往往难以处理这些复杂问题。基于模型的系统工程(MBSE)可以通过建立系统模型、对系统进行分析和仿真等方式来快速、准确地掌握系统的行为和性能,从而有效地解决复杂性问题。系统建模语言(SysML)可以帮助人们清晰地理解和描述系统。以往基于自然语言的系统描述方法很容易出现理解歧义以及表达不准确等问题,因此,基于自然语言处理(NLP)技术的SysML图自动生成是目前极具学术价值的研究领域,然而目前关于此方面的研究仍相对有限。本文提出了一种名为NLP驱动的用例图自动生成方法,简称为NLUCD。首先使用事先制定的语言规则对输入文本进行预处理;然后使用NLP工具进行文本分割、词干提取与词形还原等操作;接着使用微调过的bert模型进行命名实体识别和句法依赖分析;随后,定义了3组规则来提取用例图中的参与者、用例和关系,与用例图中的元素及其关系相对应;最后,绘图工具完成了对SysML用例图的生成。虽然该方法目前主要适用于英文文本,但该方法为系统设计领域的自动化和智能化提供了新思路和新视角,具有一定的理论和实践价值。

摘要：[目的/意义]为有效抽取在线医疗社区问答文本中包含的医疗知识,综合利用多种深度学习方法,有针对性地设计一套知识图谱构建方法,以应对其口语化、噪声多、规范性差的文本特性给知识抽取带来的巨大挑战。[方法/过程]以寻医问药网糖尿病相关问答文本为数据源,结合对社区用户健康需求的分析,定义适合社区文本的实体和关系类型。使用bert-wwm进行词嵌入以解决一词多义问题,通过BiLSTM-CRF模型进行实体识别。在关系标注时,设计一种实体遮蔽(entity mask)方式以解决关系重叠问题,而后使用CNN-Attention模型进行关系抽取。最后综合使用词典匹配和实体名称相似度进行实体对齐,并使用Neo4j图数据库存储和可视化得到的糖尿病知识图谱。[结果/结论]实验结果显示上述方法能够大幅提升对在线医疗社区问答文本的知识抽取效果,有效将非结构化的社区医疗问答文本转化为结构化的数据,对于社区知识发现、在线智能健康服务等方面具有推动作用。

摘要：基于图像信息的辅助,提高从非结构化文本中识别命名实体的准确率,可以有效缓解社交媒体场景中因短文本语义信息不全而产生歧义,图片多却不能发挥作用的问题.尽管现有的研究通常采用跨模态注意力机制合并文本和图像的语义表示,但是大多不能建立一个一致的表示来融合两种模态之间的语义信息,且图像中的冗余信息往往会影响多模态实体识别(Multimodal Name Entity Recognition,MNER)的性能.为了解决这些问题,本文提出了一种基于异构图模型的MNER方法,可以有效利用文本和图像之间的交互信息.具体地,首先,构建了一个基于bert-BiLSTM-CRF的实体识别模型,识别出文本中可能存在的实体;其次,以文本中可能存在的实体作为两个模态之间的桥梁,设计了一个由Token、实体和视觉对象组成的异构图网络,并定义了两种边来表示相互间的语义关系;最后,基于文本和图像组成的异构图,设计了一种多模态融合模型(MHGT),从而减轻了图像噪声的负面影响.在两个通用的MNER数据集上的实验结果表明,本文提出的多模态实体识别方法在Twitter2015和Twitter2017上分别获得了75.26%和86.51%的F1值,优于基线模型的性能.

摘要：目前,基于长文本的实体关系抽取研究倾向于对实体和关系隐式建模,未能有效利用实体间、实体与关系间的隐含联系,无法获取两个相距较远实体之间的依赖关系。为此,提出一种融合额外实体信息的层级联合抽取模型J-AH,基于注意力建模实体间依赖特征,通过拼接融合实体类型和依赖特征得到实体聚合表示,计算文本聚合表示与关系信息的中间差异因子进行信息层级融合,形成实体间、实体与关系间相互促进、相互增强的正向互动。在英文公开数据集DialogueRE上的实验数据表明,模型的F1值相较于对比模型提升了1.3个百分点,验证了模型的优势。

摘要：当前非法网站存在隐蔽性强、危害性高的特点,仅依赖单一特征的网站识别方法无法有效应对这种复杂性。针对上述问题,文中提出一种基于文本⁃视觉多特征融合的非法网站识别方法。首先构建基于ResNet⁃18的视觉特征提取模型和基于bert⁃CNN的文本特征提取模型;然后通过设计的基于逻辑回归(LR)的融合算法对两种模型的分类结果进行融合;最后通过多轮次迭代训练得出最佳的非法网站判别模型。实验结果表明,文中构建的融合模型相较于依赖文本和视觉的单一特征模型的准确率分别高出4%和11%,能够更准确地识别非法网站。

摘要：目前旅游产业信息化建设需要构建旅游自动问答系统,其中问句分类是问答系统的重要组成部分,传统问句类别体系角度单一,且传统分类模型对不平衡的问句数据集表现欠佳。针对这一问题,该文从问题主题和问句答案类型两个角度构建了旅游领域的问句类别体系架构,并提出多任务问句分类模型MT-bert,在bert上进行多任务训练,并加入自注意力机制,使用Softmax分类器,并设计了多任务融合损失函数。在山西旅游数据集的结果表明,MT-bert在两种类别体系的微平均F1值分别为97.6%、91.7%,且避免了非平衡数据的预测失败问题,可以有效处理非平衡数据。

摘要：要提升同义词挖掘的效果通常需要现成的相关领域同义词库的支持。由于相关领域同义词库极其稀缺,给模型优化带来了阻碍。针对缺少相关领域同义词库而导致模型在相关领域的同义词挖掘效果难以持续提升的问题,提出了基于主动学习和持续学习的同义词挖掘模型(SYN-AC)。首先,基于主动学习的方法获取专家标记数据,设计了一个新的损失函数并利用标记后的数据去微调模型;其次,为了减少时间和空间消耗,采用了持续学习的方法,使模型在只使用当前组标记的数据进行训练的情况下,也能不断提高同义词挖掘效果,而不需要每次都使用所有标记数据对模型重新微调。使用了3个数据集模拟专家标记的过程,实验结果表明,在其中2个数据集上比效果最好的bert(Bidirectional Encoder Representations from Transformers)模型F1值分别提升了9.34个百分点和2.75个百分点。验证了SYN-AC能够有效提高同义词挖掘的效果。