改进CRNN网络的直播弹幕文本识别

作     者：张荣泽 王修晖 ZHANG Rongze;WANG Xiuhui

作者机构：中国计量大学信息工程学院杭州310018 

基　　金：国家重点研发计划课题(2021YFC3340402) 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2024年第60卷第15期

页      码：143-149页

摘      要：在直播带货场景中,通过分析消费者发送的弹幕信息,能够在一定程度上反映出当前商品的实际评价是否与主播的描述一致,对直播行业中假冒伪劣产品的监管具有重要指导意义。针对弹幕文本识别的特殊性,提出了一种基于改进CRNN(convolutional recurrent neural network)的实时弹幕识别网络,以解决CRNN算法对于复杂背景环境下的文本特征信息提取不全等问题。为此所设计的网络采用了编解码结构对特征提取模块进行强化设计,以解决弹幕像素区域小造成的特征提取过程中的特征丢失问题。使用Transformer模型对输入的帧画面构建长距离全局特征关系,以强化网络模型对弹幕信息的捕捉能力,并对提取的特征信息进行序列建模及转录得到具体的弹幕语义信息。实验结果表明,所设计的网络在测试集上检测精度高达0.926,平均精度值提高了0.101。

主 题 词：文本识别 深度学习 循环卷积网络 Transformer模型 

学科分类：1305[艺术学-设计学类] 13[艺术学] 08[工学] 081104[081104] 0804[工学-材料学] 081101[081101] 0811[工学-水利类] 

核心收录：

D　O　I：10.3778/j.issn.1002-8331.2304-0417

馆 藏 号：203130822...