摘要：基于2017—2021年浙江省12345政务热线数据,从居民视角构建细粒度的民生问题三级分类体系,并利用bert预训练模型来构建文本分类模型,将居民诉求文本转化为民生问题标签。研究结果表明,在政务热线数据中加入30%的人工生成诉求样本,可以使模型的分类准确率提升约10个百分点,准确率最高可达84.59%。对浙江省各类民生问题占比的分析结果表明,环境保护、违规经营和市政服务等诉求的比例呈现下降趋势,而公共服务、交通问题、购房问题和新兴消费模式的诉求比例呈上升趋势。研究结果有助于加强政府对于民情民意的了解,提升数据驱动的社会治理能力。

摘要：【目的】基于图神经网络设计一种针对网络社区中敏感文本的分类模型,为治理网络舆情、维护网络社区信息安全提供帮助。【方法】在文本和词的基础上添加敏感实体构造异构图,引入网络舆情敏感信息的先验知识,然后利用bert捕获文本的深度语义信息,使用图卷积网络(GCN)获取全局的共现特征,结合两者获得预训练模型和图模型的互补优势,适应长短文本之间的结构差异,最后根据基于网络社区舆情特点设计的敏感文本分类体系进行分类。【结果】在网络舆情敏感文本自制数据集上进行广泛的实验,实验结果表明,所提模型准确率达到70.80%,相较于基线模型至少提高3.52个百分点。【局限】在大语料库上构建的异构图过大会影响计算速度。【结论】所提模型能够适应网络社区敏感文本的结构差异,更好地捕捉文本中的敏感特征以提升分类性能,在敏感文本分类上有较好的效果。

摘要：疾病诊治是水产动物健康养殖工程的重要支撑,知识图谱是水产动物疾病诊治知识表示及应用的有效手段,命名实体识别是构建水产动物疾病诊治知识图谱的关键。针对一词多义、实体嵌套等导致的水产动物疾病诊治命名实体识别准确率不高的问题,该研究提出了融合bert(Bidirectional Encoder Representations from Transformers)与CaBiLSTM (Cascade Bi-directional Long Short-Term Memory)的实体识别模型。首先,建立水产动物疾病诊治专用语料库,并利用语料库中的数据对设计的模型进行训练;其次,采用“分层思想”设计CaBiLSTM模型进行嵌套实体识别,用降维的内层实体特征提升外层实体的辨析度,并引入bert模型增添实体位置信息;最后,为验证所提出方法的有效性进行对比试验。试验结果表明,提出的融合bert与CaBiLSTM模型对水产动物疾病诊治命名实体识别准确率、召回率、F1值分别达到93.07%、92.85%、92.96%。研究表明,该模型能够有效解决水产动物疾病诊治命名实体识别过程中由于一词多义、实体嵌套等导致的识别准确率不高问题,可提高水产动物疾病诊治知识图谱的构建质量,促进水产健康养殖工程发展。

摘要：【目的】提升模型对文本结构特征和文本特征间关联性的感知,充分挖掘文本内在语义,深层次指导抽取任务。【方法】对文本、句法和词性进行特征抽取,得到各自的特征;将不同的特征进行融合,获得完备的文本结构特征;再设计一个多层交互注意力机制,该机制聚焦于文本结构特征和文本特征之间的深层关联,并采用双线性融合策略,以保证信息的完整性;最后,通过常用的分类器进行属性抽取。【结果】在公开的数据集上,所提模型的属性抽取准确率相比于已有模型至少提高了1.2个百分点。【局限】所提模型对隐式属性词感知迟钝,句子中出现三个以上隐式属性词,模型的性能将大幅度降低。【结论】在显式的商品属性词抽取任务中,建模文本结构特征与文本特征间关联性的方法可以有效提高属性抽取的准确率。

摘要：个体活动识别对用户画像、个性化推荐、异常行为检测、群体行为分析和基于活动的资源配置优化具有重要价值。提出了一种基于稀疏的社交媒体签到数据的个体活动语义识别方法,从签到数据中提取活动行为的时间周期性和趋势性特征,并采用空间偏好量化算法,从个体与群体活动的空间关联中提取群体和个体的空间访问偏好,使用自然语言嵌入工具bert模型提取访问兴趣点的语义。时间特征、空间偏好特征和访问兴趣点名称语义特征共同构成表征群体、个体偏好的时空联合特征,通过极限梯度提升分类器对其进行分类,得到活动语义识别结果。在Foursquare数据集上的对比实验和消融实验中验证了所提活动语义识别模型可以有效提升活动语义识别的准确性。

摘要：事件检测(ED)是事件抽取的一项基础任务,旨在检测事件触发器并进行分类。现有事件检测方法主要基于句子级信息,忽略了句子间的事件相关性。文档级信息有助于减轻语义歧义与加强上下文理解,为此,提出一种新颖的事件检测框架,命名为document embedding networks combined with semantic space(DENSS)。首先,利用了预训练语言模型,分别表示具有丰富语义信息的事件类型与事件触发器;设计一种多层次注意力机制,用以捕获句子级和文档级信息;映射事件类型与事件触发器的特征向量到一个共享的语义空间,事件的相关性被表示为事件嵌入的距离;最后,基于基准数据集进行了验证,结果表明该方法优于大部分已有的方法,以及具有共享语义空间的文档级信息对于加强事件检测的有效性。

摘要：针对通用领域的事件论元抽取研究中角色信息利用不足和论元间缺少交互两个问题,提出角色信息引导的多轮事件论元抽取模型,用于增强文本的语义信息和论元之间的交互能力,提升事件论元抽取的性能。首先,为了更好地利用角色知识来引导论元的抽取,该模型根据角色定义构造角色知识,对角色信息和文本独立编码,并采用基于注意力机制的方法获取标签知识增强的文本表示,进而采用增强嵌入来预测各角色论元的起始和结束位置。同时,为了在抽取过程中充分利用事件论元之间的交互,受多轮对话模型的启发,设计一种多轮事件论元抽取算法。该算法参照“先易后难”的自然逻辑,每次选择预测概率最大,也是最容易确定的角色进行抽取。在论元抽取过程中,为了对论元之间的交互进行建模,模型引入历史嵌入,并在每一次预测结束后更新历史嵌入,帮助下一轮事件论元的抽取。实验结果表明,角色信息的引导和多轮抽取算法均有效地提升了论元抽取的性能,使得该模型的表现优于其他基线模型。

摘要：从地质文本中提取地质命名实体,对地质大数据的深度挖掘与应用具有重要意义。定义了地质命名实体的概念并制订了标注规范,设计了地质实体对象化表达模型。地质文本存在大量长实体、复杂嵌套实体,增加了地质命名实体识别的挑战性。针对上述问题,①引入bert模型生成顾及上下文信息的高质量词向量表征;②采用双向门控循环单元-注意力机制-条件随机场(BiGRU-Attention-CRF)对前一层输出的语义编码进行序列标注与解码。通过与主流深度学习模型进行对比,该模型的F1值为84.02%,均比其他模型表现出更优异的性能,能在小规模地质语料库上有较好的识别效果。

摘要：地质报告中地质体的几何、拓扑及属性信息是三维地质建模过程中重要约束性信息。但传统的属性信息抽取方法存在覆盖率有限、局限于人工设计特征及模型泛化能力差等问题。面向三维建模任务,总结了地质报告中地质体的几何、拓扑及属性文本的特点,提出了一种基于bert-BiLSTM-CRF的三维地质建模信息抽取方法;基于bert预训练模型,构建融合BiLSTM和CRF的深度学习模型,通过bert模型获取动态字符深层次语义信息,弥补静态词向量无法解决一词多义的问题,提高地质体复杂建模信息的抽取能力。以43篇地质报告为数据源进行模型性能评估,实验结果表明所提出的方法对于地质体三类属性信息抽取准确率达到90%以上,对于三维地质建模具有重要支撑作用。

摘要：水利工程施工往往具有施工环境复杂、施工难度大的特点,施工事故频发。事故报告作为事故分析的文件,通常包含了事故发生的总结和原因,可以作为预防事故发生的依据。然而,目前水利领域的事故分析多依赖于现场管理人员的手工分析,不仅容易出错,而且耗时耗力。此外,现有的模型无法直接对水利事故文本进行高精度的分析和预测。因此,本文提出了一种结合变压器双向编码表示(bert)和双向长短时记忆模型(BiLSTM)的混合深度学习模型深入分析水利工程施工事故原因。混合模型的上游采用bert模型生成事故文本的字符级动态特征向量,模型下游基于改进的BiLSTM模型挖掘事故报告文本的语义特征,实现事故报告文本智能分析。最后,通过将本文提出的模型和目前先进的七种深度学习模型进行实验对比,对所提出的混合模型的有效性进行验证。结果表明,本文提出的混合模型优于其他几种深度学习算法,该模型可为水利施工事故的分析与决策提供算法支撑和依据。