面向多领域的词汇复杂度评估研究

作     者：李纲 黄建飞 毛进 Li Gang;Huang Jianfei;Mao Jin

作者机构：武汉大学信息资源研究中心武汉430072 武汉大学信息管理学院武汉430072 

基　　金：国家社会科学基金重大项目(项目编号:22&ZD326)的研究成果之一 

出 版 物：《数据分析与知识发现》 (Data Analysis and Knowledge Discovery)

年 卷 期：2024年第8卷第7期

页      码：44-55页

摘      要：【目的】探索集成不同语料库的方式,从而提升评估词汇复杂程度的综合表现。【方法】提出一种多领域词汇复杂度评估模型,通过特征泛化模块适应各种领域,在下游微调任务中学习词汇复杂度预测,通过特征融合模块探索手工特征与神经网络深度特征的组合意义。【结果】在LCP-2021数据集上,本文模型相较于公开的现有最优结果,Pearson系数、MAE、MSE指标分别提升0.014 8、0.001 7、0.000 4,Spearman系数和R2系数的表现则下降0.003 8、0.025 5;集成手工特征后没有明显变化;二次迁移到CWI-2018数据集,本文模型在三个领域上的MAE指标,相较公开的基线结果分别提升0.008 6、0.020 9、0.017 4。【局限】采用向量拼接集成手工特征和深度特征,未能充分融合不同类型特征;设计特征泛化模块时的算法选择具有一定局限性;可以进一步尝试构建综合数据集。【结论】集成不同语料库,有助于提升模型在新领域下的整体评估效果。

主 题 词：多领域 词汇复杂度 领域泛化 特征融合 

学科分类：1205[管理学-图书情报与档案管理类] 12[管理学] 120502[120502] 

核心收录：

D　O　I：10.11925/infotech.2096-3467.2023.0633

馆 藏 号：203131199...