面向中国海关进出口商品税率检测的预训练语言模型CC-BERT

作     者：周成杰 车超 张强 周东生 ZHOU Chengjie;CHE Chao;ZHANG Qiang;ZHOU Dongsheng

作者机构：大连大学先进设计与智能计算省部共建教育部重点实验室辽宁大连116622 大连理工大学计算机科学与技术学院辽宁大连116086 

基　　金：国家重点研究与发展计划(2018YFC0910500) 国家自然科学基金(61425002,61751203,61772100,62076045) 

出 版 物：《中文信息学报》 (Journal of Chinese Information Processing)

年 卷 期：2024年第38卷第10期

页      码：155-164页

摘      要：判定商品税率以便进行税收是海关最重要的职能之一,其肩负着国家财政收入与再分配的重要作用。预训练语言模型(BERT)的提出,刷新了众多自然语言处理任务的最优结果。但是由于海关文本数据的特殊性,导致BERT在海关进出口商品税率检测(文本分类)任务中表现较差。针对这个问题,该文提出一种新的预训练语言模型CC-BERT。在模型预训练阶段,提出了全要素掩蔽策略以及预测规格型号与申报要素是否对齐(NCA)两种全新的预训练策略。CC-BERT可以降低既定文本顺序对模型性能的负反馈,以及加强规格型号与申报要素之间的联系。在真实的海关税率检测任务上的实验结果表明,该方法具有更强的鲁棒性,分类性能指标优于基线模型,F_(1)值在两个数据集上分别达到90.52%和80.10%。

主 题 词：预训练语言模型 税率检测 结构化文本 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

核心收录：

D　O　I：10.3969/j.issn.1003-0077.2024.10.016

馆 藏 号：203155535...