摘要：机器阅读理解(MRC)是指让计算机像人类一样阅读文本,提炼文本信息并回答相关问题。传统的基于深度学习的方法利用双向循环神经网络或者卷积神经网络来对文本进行编码,但这种方法无法有效地捕获文本中的长距离依赖。最新发布的神经网络模型Roberta能够更好地捕获文本中的长距离依赖特征,并在几种不同的自然语言处理任务中都取得了好成绩。然而,Roberta模型针对英文语言而设计,无法有效地处理中文文本。针对中文语言的特点,提出一种新的阅读理解模型Pre-Roberta-MTL。该模型首先利用Roberta对问题与段落进行编码,然后通过一个交互层捕获问题与段落中蕴涵的语义模式,最后输出可能的答案。实验结果表明,该方法在大规模阅读理解测试集DuReader上的Rouge-L和BLEU-4分数分别达到了59.35%和56.22%,大大优于大部分已有的阅读理解模型。

摘要：针对传统虚假新闻检测方法主要采用图像统计学和图像分布式表示特征导致没有深层次挖掘图像所表达的文字含义的问题,设计了在融合知识图谱和图像描述的深度学习下的多模态虚假新闻检测模型.该模型一方面抽取出在新闻文本中的3元组形式知识图谱,另一方面生成图像对应的描述文本,同时采用bert框架将原文本、3元组、图像描述文本加以集成.在基准汉语虚假新闻语料库上的实验结果表明:该模型显著优于传统的代表性方法.

摘要：测试用例设计是软件测试的核心环节,占用了软件测试的大部分时间。以最小的人力与时间成本完成测试用例设计是测试人员追求的目标,测试用例复用是提升测试用例设计效率与质量、减少测试周期的重要方法。现有的软件测试用例复用研究主要基于关键词检索与形式化建模,在面临大量测试数据时,复用的效率与质量都有较大程度降低,难以满足测试人员的需求。提出基于bert语言模型的测试用例复用方法,设计测试文本相似度计算方法,实现测试过程中的用例复用。实验表明,相比于传统的用例设计方法,此方法测试用例推荐准确率达60%,测试用例设计效率提高70%,证实了该方法的有效性。

摘要：本文从技术发展的角度梳理了词向量技术的发展历史,进而引出并介绍了目前对自然语言处理任务具有重大意义的bert模型.在此基础上,本文对bert预训练模型进行Fine-turning,使用简单的迁移学习策略将该模型应用于舆情文本分类任务,并设计实验与LSTM连接CNN的模型进行比较.实验结果表明bert模型在字符向量动态编码和语言特征提取能力上相较于传统模型具有显著优势.

摘要：针对传统中文地址分词工作中存在的准确率差,识别率低的问题,提出了一种基于bert的中文地址分词方法。同时,将非行政级别的地址标签进行重新设计,并通过构建bert-BiLSTM-CRF模型,将中文地址分词任务转换为命名实体识别任务。利用大量全国地址数据对bert进行训练,获取文本抽象特征;利用双向长短时记忆网络将文本序列化并结合上下文进一步获取文本特征;通过条件随机场获取最优序列,提取出正确的地址级别。该方法在所使用训练数据集上取得了98.21%的精确率和98.23的F1值,证明了该方法的有效性。

摘要：高密度电法具有不同的装置,在工程勘察中应根据不同跑极特点选择合适的装置模式。传统的野外数据采集采用2种或2种以上的装置模式以便资料对比解释。为了保证物探数据的准确性,采用bert 2.0软件对不同装置的高密度电法数据,以及钻探数据及其他物探数据的结构信息进行联合反演,以达到最佳的勘探效果。

摘要：意图识别分类是自然语言处理领域的一个热点问题,在智能机器人、智能客服中如何根据上下文理解用户意图是一个重点问题,同时也是一个难点问题。传统的意图识别分类主要是采用基于规则、模板匹配的正则化方法或基于机器学习的方法,然而却存在计算成本高、泛化能力差的问题。针对上述问题,本文设计以Google公开的bert预训练语言模型为基础,进行输入文本的上下文建模和句级别的语义表示,采用[cls]符号(token)对应的向量代表文本的上下文,再通过全连接神经网络(FNN)对语句进行特征提取,为了充分利用数据,本文利用拆解法的思想,将多分类问题转换成多个二分类问题处理,每次将一个类别作为正例,其余类别均作为负例,产生多个二分类任务,从而实现意图分类。实验结果表明,该方法性能优于传统模型,可以获得94%的准确率。

摘要：命名实体识别是中医智能化发展的基石。针对中医文本数据挖掘中实体识别困难的问题,构建了基于bert-BiLSTM-CRF的命名实体识别模型。通过bert模型在字向量的构建过程中融入注意力机制,利用BiLSTM进行特征提取,并将特征输入CRF模型之中完成最终的训练。实验选取《伤寒论》作为训练集以及测试集,划分症状、疾病名称、方剂、中药名、时间5类实体。测试集上的结果表明,该模型的准确率为96.94%,召回率为93.14%,F值为95%,命名实体识别精度较高,可以将该模型用于实际问题中。

摘要：政府数据资源分级管理是政府数据共享开放和数据治理的关键性工作。由于数据资源规模大,分级体系不完善,工具缺乏,使得该工作多由人工进行,导致支撑依据不足、主观性强、精确性差、成效不足。文中设计并实现了基于政策法规、典型案例的政府数据自动分级系统-GSGD(grading system for government data)。首先,利用政策法规以及典型案例构建本体库,根据分级目标以及构建的本体特性,构建自定义推理规则;再通过bert获得输入数据与关键词的语义特征词/句向量,并计算向量之间的余弦相似度;最后对相似度较高的关键词,采用Jena对政策法规库以及典型案例库进行查询推理得到分级结果以及分级依据,以实现对政府数据的自动化分级,提高分级工作效率。通过实验对比分析,验证了该方法的有效性。

摘要：针对社区矫正人员繁多且情况愈加复杂,目前人力难以实现社区矫正方案实时精准推送的现实问题。本论文就某市司法局采集到的社区矫正人员状态信息数据,结合实际业务需求,通过采用bert预训练特征向量分别在GBDT和XGBoost模型上训练实现方案推荐,并对比传统onehot编码方法,比较迁移学习改进后模型的优越性。模型最终测试性能达到93%。此外,针对实际的司法矫正人员特征情况提出最优的特征选择方法。