摘要：堆叠沙漏网络在动物姿态估计任务中得到成功应用,但其编码-解码过程容易丢失网络的浅层信息,影响了检测精度。针对该问题,提出基于改进堆叠沙漏网络的动物姿态估计模型。设计一种基于SE注意力机制的多尺度最大池化模块,完成多尺度信息的提取,解决池化后信息大量丢失的问题,提高网络获取全局信息的能力,同时提出多级特征融合方法,充分提取和融合特征信息。在此基础上,嵌入CBAM注意力机制,学习特征融合权重,提升网络对多通道信息的提取能力,抑制无效特征,使网络提取出更丰富、细腻的特征。在TigDog数据集和合成动物数据集上进行训练和测试,结果表明,该模型估计性能优于Syn、BDL、CyCADA和CC-SSL模型,其对于马和老虎的PCK@0.05指标较次优的CC-SSL模型分别提高4.6%和3.5%。消融实验结果也验证了整个网络体系结构的先进性和有效性。

摘要：为解决多人姿态估计中小尺度关键点(手腕、脚踝等)定位准确率低的问题,采用自顶向上的方式,结合先进的人体目标检测模型YOLOv3,提出一种基于堆叠沙漏网络改进的多人姿态估计方法。在沙漏网络中融入通道混洗模块,加强不同尺度下多层特征之间的跨通道信息交流,提高被遮挡关键点的识别效果;使用注意力机制对沙漏网络原有的残差模块进行特征增强,抑制无用特征并提升有用特征,提高小尺度关键点的识别率。实验结果表明,在MPII数据集上的总体PCK@0.5达到了88.6%,在MSCOCO数据集上的AP@0.75相比原始网络提升了4.6%,验证了所提方法的有效性。

摘要：针对水稻栽培和遗传育种研究中单分蘖性状高通量无损提取的实际需求,该研究提出了一种基于沙漏网络模型的单分蘖水稻关键点预测和骨架提取方法。首先,对原始图像进行批量裁剪、gamma校正和锐化卷积等预处理,获取单色背景下的水稻单分蘖图像数据集;设计水稻单分蘖各器官关键点数据标注策略,构建监督数据集。然后,构建堆叠沙漏网络架构实现叶片数固定和不固定的水稻关键点检测,引入沙漏结构整合图像的多尺度特征,结合中间监督机制整合不同沙漏模块信息。叶片数一致的情况,模型预测准确率最高可达96.48%;叶片数不一致的情况,预测准确率达到82.09%。最后,根据预测关键点及其对应的语义信息连接形成植株骨架,选取茎秆长、叶片长、穗长、叶片-茎秆夹角和茎节点位置5个表型参数对生成骨架模型的实际意义进行评估,其均方根误差依次为5.82 cm、3.09 cm、1.71 cm、3.22°和2.0356cm,证明了该方法能较好地识别水稻单分蘖关键点,为水稻骨架提取提供了一种新思路,有助于加快水稻育种速度。

摘要：针对头部姿态变化较大、脸部遮挡等情况下,由面部特征类型多样和尺度不同造成的面部特征点检测准确度较低的问题,提出了一种面部分组特征线条化和点热图回归相结合的人脸特征点检测方法,并设计了两段式堆叠沙漏网络深度学习模型来实现图像特征分析与特征点定位。利用提出的方法开发了检测算法,并利用该领域几个典型的公共图像数据集,将所提方法与其他方法进行实验对比。结果表明,提出的方法可以适应姿态变化和脸部部分遮挡的应用,相比其他方法,具有检测误差较小、人脸面部特征点检测准确度较高的优势。

摘要：针对当前线上太极拳学习自然交互性差、缺乏学习反馈等问题,提出一种面向太极拳学习的人体姿态估计及相似度计算方法。首先,输入太极拳视频,利用帧间差分法提取关键帧图像;然后,利用堆叠沙漏网络模型对关键帧图像进行二维关节点检测;接着,使用长短期记忆(LSTM)网络结合Sequence-to-Sequence网络模型对检测到的二维关节点序列进行二维到三维的映射,预测三维关节点的位置坐标;最后对估计的人体姿态进行二维和三维余弦相似度计算。利用该方法设计并开发了一款相关设备简便、用户体验感强的太极拳学习与反馈应用系统,并在实际中应用。该系统可以检测太极拳学员的整体动作及各肢体段动作是否标准,并给出反馈,学员可以根据反馈结果练习和改善不标准动作,达到提升学习效果的目的。

摘要：针对人体模型中某些重要关节点准确定位的问题,提出了一种新型深度卷积生成对抗网络以进行静态图像中人体姿态的估计的方法。该方法采用了深度卷积的堆叠沙漏网络来准确提取图像上关键关节点的位置,该网络的生成和辨别部分被设计用于编码第一层次结构(亲本)与第二层次结构(子本)中的空间关系,并且展示了人体部位的空间层次。生成器和判别器在网络中被设计为两部分,并按照顺序连接在一起用来编码外观可能的关系,同时为人体部位存在的可能性以及身体的每个部分与其亲本部分之间的关系进行编码。在静态图像中,可以较准确地识别人体模型关键节点以及大致人体姿态。该方法在不同的数据集上进行了实验,在大部分情况下,提出的方法获得的结果优于其他几种对比方法。

摘要：针对遥操作液压工程机器人视频传输时延问题,提出一种基于姿态辨识的遥操作液压工程机器人视觉提示方法。利用摄像机获取遥操作液压工程机器人图像,通过关键点识别堆叠沙漏网络(KPR-SHN)模型和姿态辨识神经网络(AR-NN)模型,获取遥操作液压工程机器人液压缸的位移,依此驱动虚拟工程机器人实现对操作者的视觉提示。实验结果表明:该方法简单有效,误差小于8%,可为基于虚拟现实的遥操作工程机器人的视觉提示系统设计提供指导。

摘要：为了实现数字X线机检查的体位识别智能化与摆位自助化,采用自主研发的基于堆叠沙漏网络的体位识别装置、应用动作相关关系模型的体位判断装置和加入语音提示功能的数字X线机“自助检查”装置,解决了如今影像摄片体位精准度不高、影像科技术人员数量不足、传统摄片耗时较长等问题;经多次实验结果表明,系统将原本人均将近6分钟的摄影时间缩短到大约三分半,将甲级片出片率的不足40%提升到将近80%,进而将误诊率减少30%,同时能够有效地减少医患接触,减低院内感染的风险,系统实现了缩短摄片时间、提高摄影质量、降低院内感染的目标。