摘要：【目的】解决现有深度变分推断算法进行文本聚类时面临的语义缺失问题。【方法】基于现有的深度变分推断算法,设计一种补充语义信息的深度文本聚类模型(SSVAE),可以将文本语义信息补充到聚类过程中。【结果】实验结果表明,SSVAE在文本聚类过程中有效地补充了文本缺失的语义信息,与现有效果最好的深度变分推断模型以及主流的深度聚类模型相比,SSVAE的NMI指标在BBC,Reuters-1500,Abstract,Reuters-10k,20news-l这5个真实文本数据集上分别提升8.92、7.43、8.73、4.80和6.14个百分点。【局限】SSVAE在补充语义的过程中,除了补充了缺失的语义,有时也不可避免地引入一些噪声,这会造成聚类效果的微小偏差。【结论】补充语义信息的深度变分文本聚类模型SSVAE能够对文本进行更有效的聚类划分,提高聚类准确性。

摘要：针对现有命名实体识别方法存在的语义信息获取不全面问题,提出基于Affix-Attention的命名实体识别语义补充方法。将句子和句子中每个单词对应的词缀输入到编码层,使用Bi-LSTM提取上下文特征。在编码层设计特征融合模块、建模文本特征与词缀特征的对应关系,使用Affix-Attention同时关注文本信息和词缀信息进行语义补充。解码层使用CRF层得到目标序列。在生物医学领域的JNLPBA-2004和BC2GM基准数据集上的试验结果综合评价指标F1达到81.73%、84.73%;在公共数据集CONLL-2003中试验结果综合评价指标F1达到91.35%。试验结果表明,本研究方法能够有效获取词的内部语义特征,融合文本信息和词缀信息,达到语义补充的效果,提升命名实体识别的性能。

摘要：为解决谓语中心词识别中的唯一性问题,提出一种基于回归模型的谓语中心词识别模型,使用回归网络与神经网络结合直接输出预测的谓语中心词结束位置与开始位置。对数据集进行预训练,利用BILSTM层捕捉句子上下文的信息,通过卷积神经网络对句子中的特征进行进一步提取,使用多元线性回归层对特征进行线性回归计算,预测唯一谓语中心词的位置,训练过程中不断修正预测值与真实值的距离。使用中国判决网上获取的判决文书作为数据集进行唯一谓语中心词识别的实验,结果达到了82.99%的F值评分,验证了该模型的可行性和有效性。

摘要：针对传统深度文本聚类方法仅利用中间层的文本语义表示进行聚类,没有考虑到不同层次的神经网络学习到的不同文本语义表示以及中间层低维表示的特征稠密难以有效区分类簇的问题,提出一种基于多层次子空间语义融合的深度文本聚类(deep document clustering via muti-layer subspace semantic fusion,DCMSF)模型。该模型首先利用深度自编码器提取出文本不同层次的潜在语义表示;其次,设计一种多层子空间语义融合策略将不同层的语义表示非线性映射到不同子空间以得到融合语义,并用其进行聚类。另外,利用子空间聚类的自表示损失设计一种联合损失函数,用于监督模型参数更新。实验结果表明,DCMSF方法在性能上优于当前已有的多种主流深度文本聚类算法。

摘要：在非结构化生物医学文本数据中提取出实体之间的关系,对生物医学的信息化发展有着重大意义,同时也是自然语言处理领域的研究热点。目前,在生物医学数据中正确地提取出实体间的关系面临着两个难点:1)由于在生物医学数据中实体单词大多由复合词、未知词组成,模型难以学习到实体内部的语义特征;2)由于生物医学带标注数据较少,而神经网络的参数量较大,使得神经网络容易过拟合。因此,文中提出了基于提示学习的生物医学关系抽取方法,增加了一种针对实体的注解标签,来对实体进行提示以达到实体语义增强以及联系上下文信息的目的。此外,在传统提示调优方法的基础上,文中使用连续性模板来缓解人工设计模板所带来的性能偏差,同时结合深度前缀控制attention的深度提示能力,使模型在处理较少数据的情况时仍能取得良好的效果。

摘要：针对大多数现有的深度文本聚类方法在特征映射过程中过于依赖原始数据质量以及关键语义信息丢失的问题,提出了一种基于关键语义信息补足的深度文本聚类算法(DCKSC)。该算法首先通过提取关键词数据对原始文本数据进行数据增强;其次,设计了一个关键语义信息补足模块对传统的自动编码器进行改进,补足映射过程中丢失的关键语义信息;最后,通过综合聚类损失与关键词语义自动编码器的重构损失学习适合于聚类的表示特征。实验证明,提出算法在五个现实数据集上的聚类效果均优于当前先进的聚类方法。聚类结果证明了关键语义信息补足方法和文本数据增强方法对深度文本聚类的重要性。

摘要：互联网的飞速发展使得新闻数据呈爆炸增长的趋势。如何从海量新闻数据中获取当前热门事件的主题演化过程成为文本分析领域研究的热点。然而,常用的传统动态聚类模型处理大规模数据集时灵活性差且效率低下,现有的深度文本聚类模型则缺乏一种通用的方法捕捉时间序列数据的主题演化过程。针对以上问题,设计了一种深度动态文本聚类(DDDC)模型。该模型以现有的深度变分推断算法为基础,可以在不同时间片上捕捉融合了前置时间片内容的主题分布,并通过聚类从这些分布中获取事件主题的演化过程。在真实新闻数据集上的实验结果表明,在不同的数据集上,与动态主题模型(DTM)、变分深度嵌入(VaDE)等算法相比,DDDC模型在各时间片的聚类精度均至少提升了4个百分点,且归一化互信息(NMI)至少提高了3个百分点,验证了DDDC模型的有效性。

摘要：命名实体识别(NER)被视为自然语言处理中的一项基础性研究任务。受计算机视觉中单阶段(one-stage)目标检测算法启发,借鉴其算法思想并引入回归运算,提出有效识别嵌套命名实体的端到端方法。基于多目标学习框架,利用深度神经网络将句子转换为文本特征图以回归预测嵌套实体边界,设计中心度方法抑制低质量边界。与多种方法在ACE2005中文数据集上进行对比实验。实验结果表明,该方法有效识别文本中的嵌套命名实体,且计算机视觉算法思想和边界回归机制在自然语言处理任务中取得理想的效果。

摘要：针对司法裁判文书摘要生成过程中忽略案件审理逻辑脉络,导致许多重要信息丢失的问题,基于法官的案件审理逻辑脉络,提出融合法条的裁判文书生成方法。通过构建法条的外部知识编码器,将该编码器融合到Encoder-Decoder摘要框架中,利用知识编码表示后的法条在摘要过程中辅助保留裁判文书中的重要信息,提升司法摘要生成模型的性能。实验结果表明,该模型在F1指标上相比主流的指针生成网络摘要模型分别提升了1.37 ROUGE-1、4.91 ROUGE-02、3.91 ROUGE-L。

摘要：传统的案件要素识别方法忽略了案件要素标签的语义信息。由于在裁判文书中案件要素存在严重数据不均衡问题,导致模型难以学习小样本案件要素中的语义特征。针对以上问题,提出基于机器阅读理解的案件要素识别方法。使用案件要素标签信息构建问题,指代所要识别的案件要素类型,将问题与文本拼接输入RoBERTa模型进行编码;通过双向注意力机制从两个方向出发为上下文和问题的交互提供补充信息;经过全连接网络预测案件要素是否存在;在词嵌入部分添加对抗扰动,提高模型的鲁棒性。该模型能够通过语言模型学习文本中的语义特征,有效避免了小样本案件要素中的语义特征稀疏问题。实验结果表明,该模型能有效提升数据集中小样本案件要素的识别性能。