深度多模态融合服装风格检索

作     者：苏卓 柯司博 王若梅 周凡 Su Zhuo;Ke Sibo;Wang Ruomei;Zhou Fan

作者机构：中山大学计算机学院广州510006 中山大学国家数字家庭工程技术研究中心广州510006 

基　　金：国家自然科学基金项目(61872394,61672547) 广州市科技计划项目(201902010056) 

出 版 物：《中国图象图形学报》 (Journal of Image and Graphics)

年 卷 期：2021年第26卷第4期

页      码：857-871页

摘      要：目的服装检索方法是计算机视觉与自然语言处理领域的研究热点,其包含基于内容与基于文本的两种查询模态。然而传统检索方法通常存在检索效率低的问题,且很少研究关注服装在风格上的相似性。为解决这些问题,本文提出深度多模态融合的服装风格检索方法。方法提出分层深度哈希检索模型,基于预训练的残差网络Res Net(residual network)进行迁移学习,并把分类层改造成哈希编码层,利用哈希特征进行粗检索,再用图像深层特征进行细检索。设计文本分类语义检索模型,基于LSTM(long short-term memory)设计文本分类网络以提前分类缩小检索范围,再以基于doc2vec提取的文本嵌入语义特征进行检索。同时提出相似风格上下文检索模型,其参考单词相似性来衡量服装风格相似性。最后采用概率驱动的方法量化风格相似性,并以最大化该相似性的结果融合方法作为本文检索方法的最终反馈。结果在Polyvore数据集上,与原始Res Net模型相比,分层深度哈希检索模型的top5平均检索精度提高11.6%,检索速度提高2.57 s/次。与传统文本分类嵌入模型相比,本文分类语义检索模型的top5查准率提高29.96%,检索速度提高16.53 s/次。结论提出的深度多模态融合的服装风格检索方法获得检索精度与检索速度的提升,同时进行了相似风格服装的检索使结果更具有多样性。

主 题 词：多模态服装检索 哈希特征 文本嵌入 风格相似性 深度哈希 

学科分类：081203[081203] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

核心收录：

D　O　I：10.11834/jig.200193

馆 藏 号：203102822...