摘要：针对当前会话推荐中存在对于当前会话的项目转换信息挖掘不充分且极少利用其他会话信息的问题,提出一种基于图神经网络的多层信息交互融合算法用于会话推荐。基于当前会话,首先,对节点之间的连接关系设计不同的权重聚合邻域节点的信息,并挖掘当前会话中项目转换的显性信息;其次,通过基于堆叠的残差图注意力网络聚合邻域节点信息,挖掘当前会话中项目转换的隐性信息;最后,通过单门控图神经网络挖掘基于时间戳的会话中存在的序列依赖信息。基于其他会话,通过节点的一阶邻居将整个会话集联系起来,学习全局信息编码,进而融合4个层次的嵌入表示以获得更全面的项目转换信息,同时使用软注意力机制和反向位置嵌入信息对获得的项目转换信息进行更有效的融合。实验结果表明,在Diginetica数据集上,所提模型的精度P@20和平均倒数排名MRR@20较次优模型GCE-GNN(Global Context Enhanced Graph Neural Network)分别提升了0.79%和0.84%;在Tmall数据集上,所提模型的P@20和MRR@20较次优模型HyperS2Rec分别提升了8.23%和7.86%;在Nowplaying数据集上,所提模型的P@20和MRR@20较次优模型HyperS2Rec分别提升了1.33%和7.16%。

摘要：为更好地解决传统模型特征捕捉能力不足,词向量语义表示不准确等问题,提出了结合MacBERT与多层次特征协同网络的音乐社交评论情感分析模型MacBERT-MFCN(MacBERT and Multi-level Feature Collaborative Network)。采用MacBERT模型提取评论文本特征向量,解决静态词向量无法表示多义词的问题;多层次特征协同网络结合双向内置注意力简单循环单元(Bidirectional Built in Attention Simple Recurrent Unit,BiBASRU)和多层次卷积神经网络(Multilevel Convolutional Neural Network,MCNN)模块,全面捕捉局部和上下文语义特征;软注意力用来衡量分类特征贡献的大小,赋予关键特征更高权重。基于网易云评论文本数据集进行实验,结果表明,MacBERTMFCN模型F1值高达95.56%,能有效地提升文本情感分类准确率。

摘要：针对静态词向量模型语义表示质量不高,深度学习模型无法聚焦关键特征等问题,提出了基于ChineseBERT-BiSRU-AT的医疗文本分类模型。预训练模型ChineseBERT融入字形和拼音特征,通过参考词的具体上下文语境,学习到词的动态语义表示。BiSRU模块提取文本高维序列特征,软注意力机制赋予关键词更高权重。在影像报告文本数据集进行实验,结果表明Chinese-BiSRU-AT模型取得了最高的F1分数,BiSRU模块训练效率更优,ChineseBERT模型应用效果更佳。

摘要：针对单一网络特征提取不全面,词向量语义表示质量较低等问题,提出了结合ERNIE2.0和多尺度网络的数字图书馆文本分类模型(ERNIE2.0 and Multi-Scale Network)。采用预训练模型ER⁃NIE2.0提取文本动态特征表示,提升词向量语义表示的准确性。多尺度网络捕捉全局序列和结构信息以及不同层次的局部语义特征,软注意力机制赋予模型关注到重点词的能力。在图书馆数据集上进行实验,结果表明,ERNIE2.0-MSN-AT模型分类准确率达到了97.85%,高于实验对比模型,多尺度网络优于单一特征提取网络。

摘要：针对传统深度学习模型特征提取能力不强,静态词向量语义表征能力弱等问题,提出了结合MacBERT和多尺度融合网络的档案数据分类模型。预训练模型MacBERT通过结合词的上下文语境,学习到动态词向量表示,解决一词多义问题;利用多尺度融合网络充分提取档案文本局部特征和上下文语义关联;根据软注意力机制计算每个特征对分类结果的影响权重,由分类层输出结果。在真实档案数据集进行实验,结果表明,结合MacBERT和多尺度融合网络的模型准确率达到90.5%,高于实验对比模型,具有一定的应用价值。

摘要：为解决静态词向量语义表达不准确,传统网络模型特征提取单一等问题,提出了融合ALBERT与多通道特征网络的档案数据分类模型。采用ALBERT轻量级预训练模型提取档案数据文本特征向量,提升词向量语义表达能力;多通道特征网络捕捉不同尺度下的局部和上下文档案语义特征,软注意力机制计算每个特征对分类结果的贡献程度,由线性层输出档案类别。在公开数据集上的实验结果表明,该模型准确率达到了97.51%,优于近期表现较好的BERT-BiLSTM、BERT-TextCNN和ERNIE2.0-BiLSTM-Att深度学习模型。

摘要：针对传统静态词向量存在语义表征弱以及循环序列模型训练效率低等问题,提出了基于MacBERT-BiSRU-AT的在线教师课程评论情感分析模型。通过预训练模型MacBERT获取评论文本符合上下文语义的动态向量表示,解决了静态词向量存在的一词多义问题,提升词向量语义表示质量。BiSRU模块用于提取评论文本高维情感特征,软注意力用于计算每个词对分类结果的影响程度大小,由分类层输出文本情感极性。在真实在线课程MOOC评论数据集进行实验,结果表明,MacBERT-BiSRU-AT模型分类F1值达到了91.33%,高于实验对比的其他模型,证明了模型的有效性。

摘要：针对静态词向量存在无法表示多义词,以及传统深度学习模型特征提取能力不足等问题,提出了结合ERNIE2.0(Enhanced language Representation with Informative Entities 2.0)的医疗中文命名实体识别模型。ERNIE2.0模型通过结合词的上下文具体语境进行动态学习,得到词的动态语义表征,解决了一词多义问题。使用BiSRU模型提取医疗文本高维全局序列特征,软注意力机制用于计算每个词的权重大小,由条件随机场输出命名实体的序列标记结果。在标准化数据集上的实验表明,ERNIE2.0-BiSRU-AT-CRF模型的F1值达到了86.74%,优于实验对比的其他模型,证明了模型的有效性。

摘要：针对循环模块特征提取能力不强、训练效率低等问题,提出了融合ChineseBERT的电力安全隐患分类模型(ChineseBERT-BiSRU++-AT)。ChineseBERT模型通过结合当前词的上下文动态训练文本向量表示,解决了一词多义问题;BiSRU++模块捕捉长距离序列特征和句子内部依赖信息,软注意力机制计算特征对结果的影响程度,由分类层输出结果。在真实电力公司电网安全隐患数据集的实验结果证明,与其他模型相比,ChineseBERT-BiSRU++-AT模型分类性能最高,F1值达到了97.44%,BiSRU++模块训练效率优于传统循环模块。

摘要：针对目前基础深度学习模型特征提取能力较弱,静态词向量模型无法表示多义词以及网站类型识别准确率不高等问题,提出了基于ERNIE2.0-MCNN-BiSRU-AT的网站类型识别模型。采用ERNIE2.0通过结合当前词的具体上下文语境学习到动态向量表征,解决静态词向量存在的一词多义问题;多特征融合网络全面地捕捉多个尺度下的局部语义和上下文序列特征,软注意力机制计算每个特征对网络分类结果的权重得分,以突出关键分类特征。线性分类层输出网站类型识别结果。在真实网站类型数据集上进行实验,相关结果表明,ERNIE2.0-MCNN-BiSRU-AT模型F1值达到了95.67%,高于实验对比的近期表现优秀的深度学习模型,并通过大量消融对比实验验证了各个功能模块的有效性。