基于深度图和时空特征的邮局场景人物交互行为识别

作     者：王苁蓉 吴静静 WANG Congrong;WU Jingjing

作者机构：江南大学机械工程学院江苏无锡214122 江苏省食品先进制造装备技术重点实验室江苏无锡214122 

基　　金：国家自然科学基金项目(62072416 61873246) 

出 版 物：《传感技术学报》 (Chinese Journal of Sensors and Actuators)

年 卷 期：2023年第36卷第1期

页      码：60-67页

摘      要：以邮局快递验视中的人物交互行为识别为应用背景,针对开箱验视过程中的复杂背景干扰和人与物的特定行为模式难以准确描述这两个痛点问题,引入基于深度学习的语义分割机制,提出了一种基于深度图和时空特征的人物交互行为识别方法。首先,使用UNet语义分割模型在复杂背景中准确提取前景目标(箱体和人手);然后,融合深度和时空信息对箱体和人手进行特征提取,利用深度图像序列中的箱体深度方差以及可见光图像序列中的人手运动轨迹构建特征描述子,对箱体形态变化和人手行为模式进行准确描述,确定人物交互关系;最后,基于SVM分类算法对开箱和未开箱行为进行判断识别。通过设计消融对比实验及干扰抑制实验,证明所提出的方法具有较高的准确性和鲁棒性,识别准确率可达到94.7%,实现了邮局场景下人物交互行为的精确识别。

主 题 词：人物交互行为识别 多源信息融合 语义分割 支持向量机 

学科分类：1305[艺术学-设计学类] 13[艺术学] 08[工学] 081104[081104] 0804[工学-材料学] 081101[081101] 0811[工学-水利类] 

核心收录：

D　O　I：10.3969/j.issn.1004-1699.2023.01.009

馆 藏 号：203118580...