基于多模态信息的视频描述算法

作     者：孙亮 Sun Liang

作者机构：中国科学技术大学信息科学技术学院 

出 版 物：《信息技术与网络安全》 (Information Technology and Network Security)

年 卷 期：2019年第38卷第7期

页      码：47-53,71页

摘      要：为了挖掘视频中不同的模态信息,提出一种基于多模态信息的视频描述算法。在基本的编码解码器网络基础上,更加关注视频多模态信息和高级语义属性。在编码器阶段,提取视频的静态特征、光流特征和视频段特征,同时设计语义属性检测网络得到视频高级语义特征。为了避免解码器阶段的曝光偏差和训练损失与评价准则不统一的问题,采用基于强化学习的训练算法直接将客观评价准则作为优化目标来训练模型。所提出的算法在公开视频描述数据集MSVD上取得了很好的实验效果。

主 题 词：视频描述 多模态信息 语义属性 强化学习 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081104[081104] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

D　O　I：10.19358/j.issn.2096-5133.2019.07.009

馆 藏 号：203691983...