融合对比学习和BERT的层级多标签文本分类模型

作     者：代林林 张超群 汤卫东 刘成星 张龙昊 DAI Lin-lin;ZHANG Chao-qun;TANG Wei-dong;LIU Cheng-xing;ZHANG Long-hao

作者机构：广西民族大学人工智能学院广西南宁530006 广西民族大学广西混杂计算与集成电路设计分析重点实验室广西南宁530006 

基　　金：国家自然科学基金项目(62062011) 广西自然科学基金项目(2019GXNSFAA185017) 广西民族大学研究生教育创新计划基金项目(gxun-chxs2022094) 

出 版 物：《计算机工程与设计》 (Computer Engineering and Design)

年 卷 期：2024年第45卷第10期

页      码：3111-3119页

摘      要：为有效解决现有文本分类模型难以建模标签语义关系的问题,提出一种融合对比学习和自注意力机制的层级多标签文本分类模型,命名为SampleHCT。设计一个标签特征提取模块,能有效提取标签的语义和层次结构特征。采用自注意力机制构建具有混合标签信息的阳性样本。使用对比学习训练文本编码器的标签意识。实验结果表明,SampleHCT相较于19个基准模型,取得了更高的分类分数,验证了其具有更有效的标签信息建模方式。

主 题 词：文本分类 对比学习 自注意力机制 层级结构 多标签 标签信息 全局特征 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.16208/j.issn1000-7024.2024.10.030

馆 藏 号：203145549...