摘要：合成素描的人脸识别问题属于异质人脸识别研究领域,在刑侦领域具有重要的实际应用.由于合成素描与人脸照片属于不同模态,对不同模态人脸进行鲁棒的表征是识别的关键.针对合成素描人脸在某些区域缺乏纹理细节,单纯依赖局部细节特征识别率较低的问题,文中提出一种融合多尺度HOG特征并加以语义属性约束的合成素描人脸识别的算法.首先提取出合成素描人脸的全局HOG特征以及五官等关键部位的局部HOG特征来表征人脸的整体结构特征和细节特征,之后将得到的整体结构特征和各个部位的细节特征进行分数层融合,最后用语义属性特征对匹配结果进行重排序.在PRIP-VSGC和UoM-SGFS数据集上进行验证,文中算法rank10的识别率分别达到88.6%和96.7%,与现有算法相比有明显的提高.

摘要：提出一种基于属性相关性的零样本学习(zero-shot learning,ZSL)方法。为了充分利用语义属性信息的内在关系,分别设计了基于均方误差(mean square error,MSE)的排名损失项和属性相关性损失项。排名损失项要求模型预测的视觉属性向量在所有类别属性向量中最靠近其真实类别,以学习到具有区分性的属性表示;属性相关性损失项使模型避免在可见类别样本上过拟合以提高模型在ZSL和广义零样本学习(generalized zero-shot learning,GZSL)任务上的泛化性能。在4个零样本学习基准数据集上进行了实验,验证了所提方法的有效性。

摘要：为了挖掘视频中不同的模态信息,提出一种基于多模态信息的视频描述算法。在基本的编码解码器网络基础上,更加关注视频多模态信息和高级语义属性。在编码器阶段,提取视频的静态特征、光流特征和视频段特征,同时设计语义属性检测网络得到视频高级语义特征。为了避免解码器阶段的曝光偏差和训练损失与评价准则不统一的问题,采用基于强化学习的训练算法直接将客观评价准则作为优化目标来训练模型。所提出的算法在公开视频描述数据集MSVD上取得了很好的实验效果。

摘要：提出一种基于大数据的混合属性图像冗余特征聚类算法。首先,给出混合属性图像构造特点,分别建立语义属性集合与非语义属性集合,对不同的图像特征进行稀疏编码,避免不同属性特征之间的混淆。其次,建立图像聚类目标函数作为特征分类准则,对不同属性特征进行精准分类。最后,采用数据挖掘技术对分类结果中的冗余特征进行挖掘,根据挖掘结果采用聚类集成算法实现对冗余特征的聚类。实验结果表明,所设计方法不仅提升了冗余特征聚类精度,聚类精度最高值达到了90%以上,而且提升了聚类效率,聚类时间始终低于0.75s,为图像处理方法提供了有效的理论支撑。