摘要：针对现有基于视频整体序列结构建模的行为识别方法中,存在着大量时空背景混杂信息,而引起的行为表达的判决能力低和行为类别错误判定的问题,提出一种基于双流特征的时空关注度长短时记忆网络模型.首先,本文定义了一种基于双流的时空关注度模块,其中,空间关注度用于抑制空间背景混杂,时间关注度用于抑制低信息量的视频帧.其次,本文为双流模型设计了两种不同的时空关注度模块,分别讨论不带融合形式和双流融合的形式对行为识别的影响.最后,为了适应不同长度视频的处理需求,本文方法采用分段策略构建行为识别框架,通过调整段的数量自适应视频长度.在UCF101和HMDB51两个数据集上进行实验验证,与现有多种基于时间和空间显著性模型的行为识别方法进行比较,实验结果表明,本文方法在识别率上优于现有行为识别方法I3D,在UCF101上提高了0.66%,在HMDB51上提高了0.75%.

摘要：目的基于图像的人体姿态估计是计算机视觉领域中一个非常重要的研究课题,并广泛应用于人机交互、监控以及图像检索等方面。但是,由于人体视觉外观的多样性、遮挡和混杂背景等因素的影响,导致人体姿态估计问题一直是计算机视觉领域的难点和热点。本文主要关注于初始特征对关节点定位的作用,提出一种跨阶段卷积姿态机(CSCPM)。方法首先,采用VGG(visual geometry group)网络获得初步的图像初始特征,该初始特征既是图像关节点定位的基础,同时,也由于受到自遮挡和混杂背景的干扰难以学习。其次,在初始特征的基础上,构建多层模型学习不同尺度下的结构特征,同时为了解决深度学习中的梯度消失问题,在后续的各层特征中都串联该初始特征。最后,设计了多尺度关节点定位的联合损失,用于学习深度网络参数。结果本文实验在两大人体姿态数据集MPII(MPII human pose dataset)和LSP(leeds sport pose)上分别与近3年的人体姿态估计方法进行了定性与定量比较,在MPII数据集中,模型的总检测率为89.1%,相比于性能第2的模型高出了0.7%;在口戸数据集中,模型的总检测率为91.0%,相比于性能第2的模型高出了0.5%。结论实验结果表明,初始特征学习能够有效判断关节点的自遮挡和混杂背景干扰情况,引入跨阶段结构的CSCPM姿态估计模型能够胜出现有人体姿态估计模型。

摘要：针对场景分类任务中全局Gist特征粒度较为粗糙的问题,提出一种基于稠密网格的局部Gist特征描述,利用空间金字塔结构加入空间信息,通过引入RGB颜色空间加入颜色信息,并基于词汇包(BOW)模型设计一种高效匹配核来度量局部特征间的相似性,核化特征匹配过程,使用线性SVM完成场景分类。实验考察了不同尺度、方向、粒度和不同匹配核的局部Gist特征以及训练样本集的大小对分类结果的影响,并通过在OT场景图像集上与全局Gist特征和稠密SIFT特征的场景分类结果进行比较,充分说明了本文特征构造方法和分类模型的有效性。

摘要：针对现有异常表示方法对视觉感知层级关系描述能力的不足,基于生物视觉感知编码特性启发,本文提出一种基于运动外观多通道层级ICA编码模型,实现复杂场景中的异常检测任务。首先,对现有的生物视觉层级编码框架,进行三级逐层学习拓展,采用ICA统计方法提取层内视觉感知编码模式,利用HMAX机制实现层级信息传递。其次,借助视觉双通道处理机制,各通道独立完成三层编码模式学习,随后联合双通道特征构建异常模式表达,最终,利用单类支持向量机模型对正常和异常情况进行判定。在UCSD数据集上,分别验证了本文方法的运动感知编码特性和异常检测的性能,实验结果能够说明本文异常模式表达优于现有的手工设计特征,以及深度学习特征。

摘要：目的光场相机可以通过一次拍摄,获取立体空间中的4D光场数据,渲染出焦点堆栈图像,然后采用聚焦性检测函数从中提取深度信息。然而,不同聚焦性检测函数响应特性不同,不能适应于所有的场景,且现有多数方法提取的深度信息散焦误差较大,鲁棒性较差。针对该问题,提出一种新的基于光场聚焦性检测函数的深度提取方法,获取高精度的深度信息。方法设计加窗的梯度均方差聚焦性检测函数,提取焦点堆栈图像中的深度信息;利用全聚焦彩色图像和散焦函数标记图像中的散焦区域,使用邻域搜索算法修正散焦误差。最后利用马尔可夫随机场(MRF)将修正后的拉普拉斯算子提取的深度图与梯度均方差函数得到的深度图融合,得到高精确度的深度图像。结果在Lytro数据集和自行采集的测试数据上,相比于其他先进的算法,本文方法提取的深度信息噪声较少。精确度平均提高约9.29%,均方误差平均降低约0.056。结论本文方法提取的深度信息颗粒噪声更少;结合彩色信息引导,有效修正了散焦误差。对于平滑区域较多的场景,深度提取效果较好。