基于多特征融合的多尺度服装图像精准化检索

作     者：王志伟 普园媛 王鑫 赵征鹏 徐丹 钱文华 WANG Zhi-Wei;PU Yuan-Yuan;WANG Xin;ZHAO Zheng-Peng;XU Dan;QIAN Wen-Hua

作者机构：云南大学信息学院昆明650504 云南省高校物联网技术及应用重点实验室昆明650504 

基　　金：国家自然科学基金(61163019,61271361,61462093,61761046,U1802271) 云南省科技厅项目(2014FA021,2018FB100) 云南省教育厅科学研究项目(2019Y0004,2018JS011,2016CYH03)资助 

出 版 物：《计算机学报》 (Chinese Journal of Computers)

年 卷 期：2020年第43卷第4期

页      码：740-754页

摘      要：为了充分挖掘服装图像从全局到局部的多级尺度特征,同时发挥深度学习与传统特征各自在提取服装图像深层语义特征和底层特征上的优势,从而实现聚焦服装本身与服装全面特征的提取,提出基于多特征融合的多尺度服装图像精准化检索算法.首先,为了不同类型特征的有效融合,本文设计了基于特征相似性的融合公式FSF(Feature Similarity Fusion).其次,基于YOLOv3模型同时提取服装全局、主体和款式部件区域构成三级尺度图像,极大减弱背景等干扰因素的影响,聚焦服装本身.之后全局、主体和款式部件三级尺度图像分别送入三路卷积神经网络(Convolutional Neural Network,CNN)进行特征提取,每路CNN均依次进行过服装款式属性分类训练和度量学习训练,分别提高了CNN对服装款式属性特征的提取能力,以及对不同服装图像特征的辨识能力.提取的三路CNN特征使用FSF公式进行特征融合,得到的多尺度CNN融合特征则包含了服装图像从全局到主体,再到款式部件的全面特征.然后,加入款式属性预测优化特征间欧氏距离,同时抑制语义漂移,得到初步检索结果.最后,由于底层特征可以很好的对CNN提取的深层语义特征进行补充,故引入传统特征对初步检索结果的纹理、颜色等特征进行约束,通过FSF公式将多尺度CNN融合特征与传统特征相结合,进一步优化初步检索结果的排序.实验结果表明,该算法可以实现对服装从全局到款式部件区域多尺度CNN特征的充分提取,同时结合传统特征有效优化排序结果,提升检索准确率.在返回Top-20的实验中,相比于FashionNet模型准确率提升了16.4%."

主 题 词：服装图像检索 多尺度 多标签学习 度量学习 特征相似性融合 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

核心收录：

D　O　I：10.11897/SP.J.1016.2020.00740

馆 藏 号：203907537...