摘要：针对中文发明专利文本的文字描述专业性强、人工分类耗时耗力等问题,提出一种基于bert-BiGRU模型的中文专利文本自动分类方法,利用预训练的bert模型完成对中文发明专利文本进行向量化语义表征,引入词嵌入和多头注意力机制等方法抽取专利文本中词语的上下文语境语义信息,最终通过双向GRU门控网络完成对中文发明专利的分类。以Incopat专利数据库中的专利文本构建数据集,设计多组对比实验,实验结果表明,所提方法可以有效提高分类模型对中文专利文本的差异性特征提取能力,对8类专利文本的分类准确率达到了85.44%。

摘要：事故案例数据库中的大量事故信息为安全攸关系统的设计提供了丰富、宝贵的经验,包括事故发生的时间、地点、原因、经过等。这些信息在危险辨识中起着至关重要的作用,但它们通常分布在事故文档的各个段落中,使得人工提取的效率低且成本高。本文提出了一种基于bert(Bidirectional Encoder Representations from Transformers)预训练模型的事故案例文本分类方法,可将事故案例文本分为ACCIDENT、CAUSE、CONSEQUENCE、RESPONSE这4类。此外,收集并构建了事故案例文本数据集用于训练模型。实验结果表明,本文方法可以实现对事故案例文本的自动分类,分类准确率达到73.44%,召回率为69.13%,F1值为0.71。

摘要：事实一致性是摘要内容与源文档内容的信息一致。最近的研究表明,文本摘要模型生成的摘要存在较多与原文事实不一致的问题,设计能够检测并评估出事实不一致错误的方法至关重要。目前基于自然语言推理的方法存在对源文档内容提取简单,推理信息交互不充分等问题。提出多注意力机制的文本摘要事实一致性评估模型,利用预训练模型微调的sentence-bert模型挑选源文档中的关键句,然后将摘要句与关键句组合成句子对,输入bert模型编码获得向量表示结合ESIM进行句子对的推理,利用图注意力网络完成推理信息的聚合,提高文本摘要事实一致性评估模型的准确率。实验结果表明,该算法与多个典型算法在在领域内常用的数据集进行实验比较,其可行性和有效性得到验证。

摘要：针对传统的向量表示方法的多义词局限性以及深度聚类容易出现特征嵌入与聚类过程分离的问题,提出一种融合bert与改进深度自动编码器的专利聚类方法。利用bert对专利文本进行向量初始化,提出将高斯混合模型(GMM)与自动编码器相联系,构建一个单隐含层自编码器的聚类模块(CM),将其嵌入到深度自动编码器(DAE)中构成DAE-CM模型。实验结果表明,CM与GMM具有等效性,DAE-CM模型与现有深度聚类模型相比,精确度等都有所提高,所提专利聚类模型性能得到了很大的提升,F-means值达到了0.9224。

摘要：层级多标签文本分类相比普通的多标签文本分类更具有挑战性,因为文本的多个标签组织成树状的层次结构。当前方法使用相同的模型结构来预测不同层级的标签,忽略了它们之间的差异性和多样性。并且没有充分地建模层级依赖关系,造成各层级标签尤其是下层长尾标签的预测性能差,且会导致标签不一致性问题。为了解决以上问题,将多任务学习架构引入,提出了MSML-bert模型。该模型将标签结构中每一层的标签分类网络视为一个学习任务,通过任务间知识的共享和传递,提高各层级任务的性能。基于此,设计了多尺度特征抽取模块,用于捕捉不同尺度和粒度的特征以形成不同层级需要的各种知识。进一步,设计了多层级信息传播模块,用于充分建模层级依赖,在不同层级之间传递知识,以帮助下层任务。在该模块中,设计了层次化门控机制,为了过滤不同层级任务之间的知识流动。在RCV1-V2、NYT和WOS数据集上进行了充分的实验,结果显示该模型的总体表现尤其是在下层长尾标签上的表现超过了其他主流模型,并且能维持较低的标签不一致比率。

摘要：针对当前机器阅读理解模型中文本与问题的语义融合不够充分、缺乏考虑全局的语义信息的问题,提出一种基于bert、注意力机制与自注意力机制的机器阅读理解模型bert_Att。该模型采用bert将文本和问题分别映射进特征空间,通过Bi-LSTM、注意力机制与自注意力机制将文本与问题进行充分的语义融合,通过Softmax计算答案的概率分布。在公共数据集DuReader上的实验结果表明,该模型的BLEU-4值与ROUGE-L值较现有的模型均有进一步的提升,并且分析了影响模型表现的因素,验证了该模型设计的有效性。

摘要：[目的/意义]围绕图书功用分类问题,提出开展图书功用自动化分类研究,并融合预训练和深度学习方法进行实现方案设计,为图书功用属性揭示和信息组织提供参考。[方法/过程]文章基于功用视角进行图书分类体系调研与数据验证,构建图书功用分类体系框架。在此基础上,融合bert预训练模型和BiLSTM模型构建图书功用分类模型,并基于大规模数据集进行实验验证。[结果/结论]实验结果显示,模型的准确率达到0.89以上,召回率达到0.87以上,总体效果相对较好,能够较为准确地实现图书功用特征的提取。

摘要：自动文本摘要能够帮助人们快速筛选、辨别信息,掌握新闻关键内容,缓解信息过载问题。主流的生成式自动文摘模型主要基于编码器-解码器架构。针对解码器端在预测目标词时未充分考虑文本主题信息,并且传统的Word2Vec静态词向量无法解决一词多义问题的现状,提出了一种融合bert词嵌入表示和主题信息增强的中文短新闻自动摘要模型。编码器端联合无监督算法获取文本主题信息并将其融入注意力机制中,提升了模型的解码效果;解码器端将bert预训练语言模型抽取出的bert句向量作为补充特征,以获取更多的语义信息,同时引入指针机制来解决词表外的单词问题,并利用覆盖机制有效抑制重复。在训练过程中,为了避免暴露偏差问题,针对不可微指标ROUGE采用强化学习方法来优化模型。在两个中文短新闻摘要数据集上的多组对比实验结果表明,该模型在ROUGE评价指标上有显著的提升,能有效融合文本主题信息,生成语句流畅、简明扼要的摘要。

摘要：针对商品评论文本具有短文本及表述用词不规范的特点,探讨如何实现商品评论文本按照商品种类进行自动归类并提高其分类效果。通过TF-IDF和LDA构建训练集的核心词集,利用Word2Vec相似度计算方式对短文本进行特征扩展获得的商品评论文本作为分类对象,基于bert模型实现分类,并设计相应的对比实验证明本方法的有效性。对商品评论文本扩展后使用bert分类时,本文方法比未扩展时的F1值提升2.1%,比使用Hownet相似度计算方式扩展时的F1值提升0.9%。从基本原理、不同相似度计算方法以及用词方式等方面分析本方法有效性的原因。本文提出的方法能有效提升商品评论文本按照商品进行信息组织时的分类效果,可以应用于电子商务信息的信息组织及其相关理论方法研究等领域。

摘要：方面级情感分类是一种细粒度的情感分析任务,旨在分析出文本不同方面的情感.针对方面级情感分类模型存在分类精度低、泛化性弱等问题,提出基于对抗学习的AOA-bert方面级情感分类模型(Attention-Over-Attention-bert for aspect-level sentiment classification model based on adversarial learning,AOA-bert).首先,将文本和方面词单独建模,通过bert编码提取隐含层特征.其次,将隐含层特征放入AOA(Attention-Over-Attention)网络提取权重向量.最后,将权重向量与建模后的文本特征向量相乘,并做交叉熵损失、回传参数.此外,通过对抗学习算法生成和学习对抗样本,作为一种文本数据增强方法,优化决策边界.实验结果表明,和大多数深度神经网络情感分类模型相比,AOA-bert能提升情感分类的准确性.同时,通过消融实验,证明了AOA-bert结构设计的合理性.