用于在线手写公式合成的编解码网络

作     者：杨晨 杜俊 薛莫白 张建树 Yang Chen;Du Jun;Xue Mobai;Zhang Jianshu

作者机构：中国科学技术大学语音及语言信息处理国家工程研究中心合肥230026 科大讯飞股份有限公司合肥230088 

出 版 物：《中国图象图形学报》 (Journal of Image and Graphics)

年 卷 期：2023年第28卷第8期

页      码：2356-2369页

摘      要：目的在线公式识别是一种将在线输入手写轨迹点序列转换为公式文本的任务,其广泛应用在手机、平板等便携式设备上。众所周知,训练数据对于神经网络十分重要,但获取有标注的在线公式数据所需要的成本十分昂贵,在训练数据不足的情况下,深度神经网络在该任务上的泛化性和鲁棒性会受到影响。为此,提出了一个基于编码—解码模型的在线数据生成模型。方法该模型从给定的公式文本生成对应的在线轨迹点序列,从而灵活地扩充训练数据规模。生成模型在编码器端设计了结合树形表示的文本特征提取模块,并且引入了基于位置的注意力算法,使模型实现了输入文本序列与输出轨迹序列间的对齐。同时,解码器端融入了不同手写人风格特征,使模型可以生成多种手写人风格的样本。结果实验中,首先,将本文生成方法在不同类型输入文本和不同手写人风格上的结果可视化,并展示了模型在多数情况下的有效性。其次,生成模型合成的额外数据可作为训练集的增广,该数据被用于训练Transformer-TAP(track,attend,and parse)、TAP和DenseTAP-TD(DenseNet TAP with tree decoder)模型,并分析了3种模型在使用增广数据前后的性能变化。结果表明,引入增广数据分进行训练后,3个模型的绝对识别率分别提升了0.98%、1.55%和1.06%;相对识别率分别提升了9.9%、12.37%和9.81%。结论本文提出的在线生成模型可以更加灵活地实现对原有数据集的增广,并有效提升了在线识别模型的泛化性能。

主 题 词：深度学习 手写公式识别 端到端 编解码模型 数据增广 

学科分类：1305[艺术学-设计学类] 13[艺术学] 08[工学] 081104[081104] 0804[工学-材料学] 081101[081101] 0811[工学-水利类] 

核心收录：

D　O　I：10.11834/jig.220894

馆 藏 号：203123095...