多尺度特征与知识图谱融合的景区手写诗词识别

作     者：何坚 杨洺 白佳豪 冀振燕 HE Jian;YANG Ming;BAI Jiahao;JI Zhenyan

作者机构：北京市物联网软件与系统工程技术研究中心北京100124 北京工业大学信息学部北京100124 北京交通大学软件学院北京100091 

基　　金：国家自然科学基金资助项目(52175493) 国家重点研发计划资助项目(2020YFB2104400) 

出 版 物：《北京工业大学学报》 (Journal of Beijing University of Technology)

年 卷 期：2024年第50卷第3期

页      码：316-324页

摘      要：针对景区手写诗词存在背景纹理复杂、字体尺寸及风格多样等特点导致景区游客难以识别手写诗词的问题,首先,分析研究景区手写诗词的识别场景,设计景区诗词检测网络(detection of poetry in scenic areas-network,DPSA-Net)以提取景区手写诗词不同尺度的特征,并结合手写诗词字符间的链接依赖关系实现景区手写诗词检测;其次,设计了卷积循环聚合网络(convolution recurrent aggregation network,CRA-Net)以对景区手写诗词进行识别,结合卷积神经网络(convolutional neural networks,CNN)和双向长短期记忆网络提取手写诗词图像的序列特征,并通过聚合交叉熵(aggregation cross-entropy,ACE)实现特征向文本的转换;最后,结合景区知识图谱对CRA-Net的输出进行校正,进而提高景区手写诗词的识别准确率。实验结果表明,通过景区手写诗词矫正技术对CRA-Net的识别结果矫正后,识别准确率达到了79.04%,同时,该技术具有较好的抗干扰能力和良好的应用前景。

主 题 词：计算机视觉 文本检测 文字识别 知识图谱 卷积神经网络(convolutional neural networks CNN) 双向长短期记忆网络 

学科分类：08[工学] 082304[082304] 080204[080204] 0802[工学-机械学] 0823[工学-农业工程类] 0812[工学-测绘类] 

核心收录：

D　O　I：10.11936/bjutxb2022050001

馆 藏 号：203126134...