基于标签层次结构的视觉关系检测模型

作     者：王元龙 雷鸣 王智强 张虎 李茹 梁吉业 WANG Yuan-long;LEI Ming;WANG Zhi-qiang;ZHANG Hu;LI Ru;LIANG Ji-ye

作者机构：山西大学计算机与信息技术学院山西太原030006 山西大学计算智能与中文信息处理教育部重点实验室山西太原030006 

基　　金：国家重点研发计划(No.2020AAA0106100) 国家自然科学基金(No.62176145) 

出 版 物：《电子学报》 (Acta Electronica Sinica)

年 卷 期：2023年第51卷第12期

页      码：3496-3506页

摘      要：视觉关系检测是在目标识别的基础上,进一步检测出目标之间的关系,属于视觉理解和推理的关键技术.然而,由于关系标签视觉上的相似性以及数据不平衡问题造成少样本的尾部关系检测召回率较低.为了提高尾部关系的检测效果,本文将关系标签进行粗细粒度划分构建了标签的层次结构表示,提出了基于标签层次结构的视觉关系检测模型.模型利用视觉关系之间的相似性以及数据带有的偏见性构建关系标签的层次结构表示,以此将关系区分为粗粒度关系和细粒度关系,使尾部关系在由粗粒度到细粒度的结构上获得更多的关注.同时,针对标签层次结构的性质设计其损失函数,该损失函数通过结构化信息逐层学习不同类别关系之间的差异,使模型更好的检测尾部细粒度关系.分别在公开数据集Visual Relationship Detection(VRD)和Visual Genome(VG)中验证了本文模型检测尾部关系的效果.与现有模型相比,在VRD数据集中平均召回率mR@20、mR@50和mR@100分别提高了0.62%、1.57%和2.47%;在VG数据集中,mR@20、mR@50和mR@100分别提高了0.67%、0.83%和1.15%.

主 题 词：视觉关系检测 标签层次结构表示 长尾分布 粗粒度关系 细粒度关系 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

核心收录：

D　O　I：10.12263/DZXB.20221050

馆 藏 号：203126099...