基于深度学习的多策略精细化时尚搜索算法研究

结题报告

项目介绍

AI项目解读

基本信息

批准号：
61772436
项目类别：
面上项目
资助金额：
60.0万
负责人：
吴晓
依托单位：
西南交通大学
学科分类：
F0210.计算机图像视频处理与多媒体技术
结题年份：
2021
批准年份：
2017
项目状态：
已结题
起止时间：
2018-01-01 至2021-12-31

项目参与者：
赵波；程治淇；孙广路；何俊彦；贺强；黎俊秀；陈昌宇；位雪勇；王知文；
关键词：
图像识别图像理解图像检索

项目摘要

Although current search engines can meet the basic requirement for fashion search, it becomes a stringent needs for refined and accurate cross-domain fashion search towards fine grained details and parts, especially for clothes with rich details. The diversity, heterogeneity and complexity of fashion components make the refined and accurate fashion search a challenging task, which has not been fully explored. The purpose of this research is to explore multiple strategies for refined fashion search based on deep learning, by exploiting the popular frameworks of deep learning and designing novel solutions for deep neural networks from different viewpoints. It mainly includes, attribute manipulation based and region level adaption refined fashion search, multiple-view clothing generation, fashion component extraction and tracking, cross-domain fashion search, and sketch based fashion search, which provide multiple strategies for refined fashion search, so that the fashion search can be conducted among e-commerce platforms, video websites, and mobile phones. It can significantly improve the diversity and accuracy of fashion search, avoid the shortcomings of existing search engines, and satisfy the shopping desires of customers.

虽然现有的搜索引擎能够满足基本的购物搜索需求，然而用户对商品细节和局部等细粒度的精细化及精准跨域时尚搜索的需求越来越迫切，尤其是针对细节丰富的服饰。时尚元素的多样性、异构性及复杂性，给精细化时尚搜索增添了难度，使其成为一个具有挑战性但尚未充分研究的课题。本研究课题的目标旨在针对现有购物图像搜索中存在的问题，利用近年来流行的深度学习框架和方法，并针对课题内容设计新颖的神经网络结构和学习算法，围绕着实现精细化时尚搜索，从不同角度探索基于深度学习的多种策略，包括：基于属性修改以及区域级别调整的精细化搜索，多角度服饰图像生成及匹配，视频时尚元素提取和跟踪，跨域搜索，以及基于草图的时尚搜索等研究内容，为用户提供多种策略的跨模态精细化时尚搜索方案，以实现电商平台、视频网站以及移动终端之间的跨域时尚搜索，旨在提升时尚图像搜索的多样性和准确性，弥补现有搜索引擎的不足，满足用户的购物需求。

结项摘要

基于深度学习的多策略精细时尚搜索是一个具有挑战性但尚未充分研究的课题，针对具有复杂场景的服饰图像，尤其是时尚元素的多样性、异构性及复杂性，课题的研究针对现有购物图像搜索中存在的问题，利用深度学习的框架和技术，从不同角度探索基于深度学习的多元化精细时尚搜索的多种算法和策略，以实现基于属性修改的时尚搜索算法，利用草图笔画顺序特征约束进行建模的深度学习算法，实现了基于草图轮廓的服饰搜索，提出了一种从粗粒度到细粒度的多视觉图像生成方法，从单一视角的输入图像生成具备真实感的多视觉的图像，提出一种结合用户社交圈以及服饰风格一致性，实现了时尚服饰搭配推荐，以及针对视频中服饰对象的跨域搜索等，为用户提供多种策略的精细化时尚搜索方案，旨在提升服饰图像搜索的多样性和准确性，弥补现有搜索引擎的不足，改善用户的搜索体验，满足用户的购物需求，为电商平台、视频网站以及移动服务商提升流量和效益。研究不仅仅是对时尚搜索算法的创新，同时也给传统的时尚搜索系统提供一种全新的模式。