摘要：针对静态词向量模型语义表示质量不高,深度学习模型无法聚焦关键特征等问题,提出了基于ChineseBERT-bisru-AT的医疗文本分类模型。预训练模型ChineseBERT融入字形和拼音特征,通过参考词的具体上下文语境,学习到词的动态语义表示。bisru模块提取文本高维序列特征,软注意力机制赋予关键词更高权重。在影像报告文本数据集进行实验,结果表明Chinese-bisru-AT模型取得了最高的F1分数,bisru模块训练效率更优,ChineseBERT模型应用效果更佳。

摘要：针对传统静态词向量存在语义表征弱以及循环序列模型训练效率低等问题,提出了基于MacBERT-bisru-AT的在线教师课程评论情感分析模型。通过预训练模型MacBERT获取评论文本符合上下文语义的动态向量表示,解决了静态词向量存在的一词多义问题,提升词向量语义表示质量。bisru模块用于提取评论文本高维情感特征,软注意力用于计算每个词对分类结果的影响程度大小,由分类层输出文本情感极性。在真实在线课程MOOC评论数据集进行实验,结果表明,MacBERT-bisru-AT模型分类F1值达到了91.33%,高于实验对比的其他模型,证明了模型的有效性。

摘要：针对静态词向量存在无法表示多义词,以及传统深度学习模型特征提取能力不足等问题,提出了结合ERNIE2.0(Enhanced language Representation with Informative Entities 2.0)的医疗中文命名实体识别模型。ERNIE2.0模型通过结合词的上下文具体语境进行动态学习,得到词的动态语义表征,解决了一词多义问题。使用bisru模型提取医疗文本高维全局序列特征,软注意力机制用于计算每个词的权重大小,由条件随机场输出命名实体的序列标记结果。在标准化数据集上的实验表明,ERNIE2.0-bisru-AT-CRF模型的F1值达到了86.74%,优于实验对比的其他模型,证明了模型的有效性。

摘要：针对目前基础深度学习模型特征提取能力较弱,静态词向量模型无法表示多义词以及网站类型识别准确率不高等问题,提出了基于ERNIE2.0-MCNN-bisru-AT的网站类型识别模型。采用ERNIE2.0通过结合当前词的具体上下文语境学习到动态向量表征,解决静态词向量存在的一词多义问题;多特征融合网络全面地捕捉多个尺度下的局部语义和上下文序列特征,软注意力机制计算每个特征对网络分类结果的权重得分,以突出关键分类特征。线性分类层输出网站类型识别结果。在真实网站类型数据集上进行实验,相关结果表明,ERNIE2.0-MCNN-bisru-AT模型F1值达到了95.67%,高于实验对比的近期表现优秀的深度学习模型,并通过大量消融对比实验验证了各个功能模块的有效性。