摘要：为进一步提高实体关系抽取的效果,对传统标注方案进行改进,构建一个融合预训练模型和神经网络的联合抽取模型。利用RoBERTa(robustly optimized BERT approach)和Bi-LSTM(bi-directional long short-term memory)对文本进行编码,对上下文信息进行建模后,通过CRF(conditional random fields)识别实体,利用LSTM(long short term memory)进行关系分类。在中文数据集DuIE上进行消融实验和对比实验,此模型的F1指标达到77.1%,精确率高达78.3%,两项指标比当前主流模型FETI分别提高了1.3%和2.6%,实验结果验证了该模型的优势。

摘要：针对当前网络安全领域知识获取中所依赖的流水线模式存在实体识别错误的传播,未考虑实体识别与关系抽取任务间的联系,以及模型训练缺乏标签语料的问题,提出一种融合对抗主动学习的端到端网络安全知识三元组抽取方法。首先,将实体识别与关系抽取通过联合标注策略建模为序列标注任务;然后,设计融合动态注意力机制的Bi LSTM-LSTM模型实现实体与关系的联合抽取,并形成三元组;最后,基于对抗网络训练一个判别器模型,增量地筛选出高质量的待标注数据进行标注,并通过迭代训练不断提升联合抽取模型的性能。通过实验表明,所提方案中实体-关系联合抽取模型优于现有的网络安全知识抽取方案,并验证了对抗主动学习方法的有效性。

摘要：【目的】针对非结构化文本中的三元组抽取问题,设计能够提升抽取效果并适用于重叠场景的联合抽取模型。【方法】设计一种基于位置感知的分步标记方法,首先通过标记头尾位置确定主实体,接着在逐一预设的关系属性下标记相应的客实体。为提升抽取效果,在标记过程中引入三重位置辅助信息,并结合前序结果及注意力机制共享底层编码。【结果】在中文公开数据集DuIE上进行实验,结果表明所提方法优于其他基线方法,F1值达0.886。此外,还通过消融研究对各组件的有效性进行验证。【局限】标记机制和匹配模式尚未考虑到偶现的嵌套实体问题,有待进一步探索。【结论】所提联合抽取方法可以妥善解决包括重叠场景在内的三元组抽取问题,模型采用的位置辅助设计对后续研究有借鉴意义。