[发明专利]一种用户个性化服装搭配方法及装置

说明书

本发明公开了一种用户个性化服装搭配方法及装置，该方法包括：接收服装搭配正例套装数据集，对其视觉信息和文本信息分别进行特征提取，得到视觉特征和文本特征；根据视觉特征和文本特征，通过多层感知机对互补服装的相容性进行建模；根据视觉特征、文本特征和存储的用户对服装的历史偏好，通过矩阵分解对用户偏好进行多模态建模；将互补服装的相容性建模和用户偏好的多模态建模进行线性结合，构建个性化服装搭配模型，进行个性化服装搭配。

技术领域

本公开属于智能服装搭配的技术领域，涉及一种用户个性化服装搭配方法及装置。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

服装搭配已经成为人们日常生活中不可或缺的一部分，随着时尚产业的日渐繁荣，如何从琳琅满目的服装中搭配合适的套装已逐渐成为一些人所头疼的问题。得益于多媒体处理技术的不断成熟以及在线时尚社区(如I QON和Ch i ctop i a)时尚爱好者们提供的现实世界数据，有许多研究工作围绕服装搭配展开。现有方法主要侧重于通过深度神经网络对互补服装的相容性建模。

然而，发明人在研发过程中发现，现有方法没有考虑用户的偏好。用户的审美是高度主观的，不同的人可能持有不同的搭配偏好。需要解决个性化服装搭配问题，不仅要考虑一般美学，还要考虑用户的个人偏好；个性化服装搭配既要考虑服装之间的相容性，又要兼顾用户对服装的偏好。

发明内容

针对现有技术中存在的不足，本公开的一个或多个实施例提供了一种用户个性化服装搭配方法及装置,考虑到服装的视觉信息和文本信息都可能包含关于用户个人偏好的重要信息，本发明综合了视觉和文本两种模态的信息对用户的偏好进行建模，并且进行互补服装相容性建模和用户偏好建模，分别表征上衣与下衣之间，以及用户与服装之间的交互。

根据本公开的一个或多个实施例的一个方面，提供一种用户个性化服装搭配方法。

一种用户个性化服装搭配方法，该方法包括：

接收服装搭配正例套装数据集，对其视觉信息和文本信息分别进行特征提取，得到视觉特征和文本特征；

根据视觉特征和文本特征，通过多层感知机对互补服装的相容性进行建模；

根据视觉特征、文本特征和存储的用户对服装的历史偏好，通过矩阵分解对用户偏好进行多模态建模；

将互补服装的相容性建模和用户偏好的多模态建模进行线性结合，构建个性化服装搭配模型，进行个性化服装搭配。

进一步地，在该方法中，所述服装搭配正例套装数据集包括用户集合、上衣集合、下衣集合和用户对应的历史服装搭配集合，所述服装搭配数据集中的服装包括服装视觉信息和服装文本信息；

所述视觉信息为服装图像，所述文本信息为服装种类描述。

进一步地，在该方法中，所述视觉信息经过训练好的深度神经网络进行特征提取，得到视觉特征。

进一步地，在该方法中，所述文本信息经过文本卷积网络进行特征提取，得到文本特征。

进一步地，在该方法中，通过多层感知机对不同模态的语义关系进行建模，所述互补服装的相容性为下衣视觉特征的潜在表示、上衣文本特征的潜在表示、下衣文本特征的潜在表示和调控两种模态的非负参数的函数。

进一步地，在该方法中，将互补服装的相容性建模和用户偏好的多模态建模进行线性结合，通过贝叶斯个性化排序算法构建个性化服装搭配模型。

进一步地，在该方法中，所述将互补服装的相容性建模和用户偏好的多模态建模进行线性结合的具体步骤包括：