以对比学习与时序递推提升摘要泛化性的方法

作     者：汤文亮 陈帝佑 桂玉杰 刘杰明 徐军亮 TANG Wenliang;CHEN Diyou;GUI Yujie;LIU Jieming;XU Junliang

作者机构：华东交通大学信息工程学院南昌330013 

基　　金：国家自然科学基金项目(52062016) 江西省重点研发计划(20203BBE53034) 江西省03专项及5G项目(20224ABC03A16) 

出 版 物：《重庆理工大学学报（自然科学）》 (Journal of Chongqing University of Technology：Natural Science)

年 卷 期：2024年第38卷第2期

页      码：170-180页

摘      要：为了有效缓解基于交叉熵损失函数训练的传统文本摘要模型所面临的推理过程中性能下降、泛化性较低、生成过程中曝光偏差现象严重、生成的摘要与参考摘要文本相似度较低等问题,提出了一种新颖的训练方式,一方面,模型本身以beamsearch的方式生成候选集,以候选摘要的评估分数选取正负样本,在输出的候选集中以“argmax-贪心搜索概率值”和“标签概率值”构建2组对比损失函数;另一方面,设计作用于候选集句内的时序递推函数引导模型在输出每个单独的候选摘要时确保时序准确性,并缓解曝光偏差问题。实验表明,所提方法在CNN/DailyMail和Xsum公共数据集上的泛化性得到提升,Rouge与BertScore在CNN/DailyMail上达到47.54和88.51,在Xsum上达到了48.75和92.61。

主 题 词：自然语言处理 文本摘要 对比学习 模型微调 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1674-8425(z).2024.02.019

馆 藏 号：203126684...