摘要：针对现有问答方法在处理触发词歧义性问题上的不足,提出一种融合实体信息和时序特征的问答式事件检测方法EDQA-EITF。构建一种基于roberta的问答框架,增强模型的语义表示能力;通过在模型输入序列中显示地添加实体、实体类型等先验信息,进一步帮助模型根据句子的上下文语境对触发词进行分类;采用最小门控循环单元(minimal gated unit,MGU)和Transformer编码器对输入序列中的时序依赖关系进行建模,提升模型对于句子的语义关系、句法结构的阅读与理解能力。公共数据集上的实验结果表明,所提方法在进行事件检测时具有更优的性能,有效缓解了触发词的歧义性问题。

摘要：舆论情感分析重点研究公众对于公共事件的情感偏向,其中涉及公共卫生事件的舆论会直接影响社会稳定,所以对于微博的情感分析尤为重要。该文采取有关疫情方面的文本数据集,使用roberta和BiGRU以及双层Attention结合的roberta-BDA(roberta-BiGRU-Double Attention)模型作为整体结构。首先使用roberta获取了蕴含文本上下文信息的词嵌入表示,其次使用BiGRU得到字符表示,然后使用注意力机制计算各个字符对于全局的影响,再使用BiGRU得到句子表示,最后使用Attention机制计算出每个字符对于其所在的句子的权重占比,得出全文的文本表示,并通过softmax函数对其进行情感分析。为了验证roberta-BDA模型的有效性,设计三种实验,在不同词向量对比实验中,roberta对比BERT中Macro F1和Micro F1值提高了0.42百分点和0.84百分点,在不同特征提取层模型对比实验中,BiGRU-Double Attention对比BiGRU-Attention提高了3.62百分点和1.34百分点,在跨平台对比实验中,roberta-BDA在贴吧平台的Macro F1和Micro F1对比微博平台仅仅降低1.29百分点和2.88百分点。

摘要：为了解决现有的代码补全方法因数据集有限而不能有效地提高模型的泛化能力和特征向量间语义不紧密的问题,本文设计了基于roberta模型,结合数据增强和代码文本Embedding技术(代码词嵌入技术)的RoBFill代码补全模型。本文通过在6个安卓数据集上进行三组比较实验,三组实验基于roberta模型,分别使用数据增强技术、代码词嵌入技术、数据增强技术,结合代码词嵌入技术这三个角度来验证本模型的有效性,本文实验在roberta模型的基础上增加了技术层面的创新。通过实验结果可以得知,基于roberta的数据增强与代码词嵌入代码补全模型能够提高代码补全的性能,使预测的准确性提高。

摘要：针对当前多模态情绪识别技术的识别稳定性差,导致识别精准度低的问题,提出了基于roberta改进的多模态情绪识别关键技术研究。建立了基于roberta改进的多模式情绪识别模型,对输入文本进行量化表示,并采用BIO标注的方法,对roberta模型进行识别。通过计算roberta语言模型学习节点间的相位锁定值,保证识别过程的稳定性,获得相应的连接权值,计算K-阶传播数的结构熵和权值,得到每个节点的排名。融合roberta语言模型拓扑结构和节点排名,利用F-score算法选择融合后特征,以此识别多模态情绪。实验结果表明,该技术与实际结果存在0.005的误差,能够有效提高识别准确率。

摘要：机器阅读理解(MRC)是指让计算机像人类一样阅读文本,提炼文本信息并回答相关问题。传统的基于深度学习的方法利用双向循环神经网络或者卷积神经网络来对文本进行编码,但这种方法无法有效地捕获文本中的长距离依赖。最新发布的神经网络模型roberta能够更好地捕获文本中的长距离依赖特征,并在几种不同的自然语言处理任务中都取得了好成绩。然而,roberta模型针对英文语言而设计,无法有效地处理中文文本。针对中文语言的特点,提出一种新的阅读理解模型Pre-roberta-MTL。该模型首先利用roberta对问题与段落进行编码,然后通过一个交互层捕获问题与段落中蕴涵的语义模式,最后输出可能的答案。实验结果表明,该方法在大规模阅读理解测试集DuReader上的Rouge-L和BLEU-4分数分别达到了59.35%和56.22%,大大优于大部分已有的阅读理解模型。

摘要：教学语料设计是口译教学的重要组成部分。学界对口译教材建设的现状和语料难度影响因素有一定的研究,但影响难度的变量众多且关系复杂,难度划分主要依赖于专家经验,缺乏统一、可靠的分级标准。从机器学习的角度看,教学语料的难度分级可视为一个分类问题。本文使用roberta预训练模型构建神经网络系统,通过对286段语料进行人工标注再使用数据增强和知识蒸馏技术扩充数据集的方法,开发了一套基于机器学习的教学语料难度自动分级系统。该系统可以根据输入的源语语料自动输出其难度分级结果,帮助教师和学习者更好地开展课堂教学和自主学习。