[发明专利]基于神经网络的多模态互补服装搭配方法、系统及介质

摘要

本发明公开了基于神经网络的多模态互补服装搭配方法、系统及介质，从服装的图片中获取视觉特征，从服装的文字描述中获取文本特征；利用自编码器学习不同服装的视觉特征和文本特征的兼容性空间，得到视觉特征的隐含表示和文本特征的隐含表示；建立重建向量分别与输入特征之间的关系模型；建立服装兼容性模型；然后，基于服装兼容性模型，采用贝叶斯个性化排序算法构建兼容性偏好模型；建立视觉特征隐含表示和文本特征隐含表示的一致性模型；然后，建立服装的多模态隐含特征一致性模型；构建基于深度神经网络的多模态互补服装搭配模型；对已经构建的多模态互补服装搭配模型进行训练；利用已经训练好的多模态互补服装搭配模型进行服装搭配推荐。

主权项

1.基于神经网络的多模态互补服装搭配方法，其特征是，包括：步骤(1)：从服装的图片中获取视觉特征，同时，从服装的文字描述中获取文本特征；步骤(2)：利用自编码器学习不同服装的视觉特征和文本特征的兼容性空间，得到视觉特征的隐含表示和文本特征的隐含表示；步骤(3)：利用解码器将步骤(2)得到的视觉特征的隐含表示和文本特征的隐含表示解码为重建向量；建立重建向量分别与输入特征之间的关系模型；步骤(4)：基于步骤(2)得到的视觉特征的隐含表示和文本特征的隐含表示，建立服装兼容性模型；然后，基于服装兼容性模型，采用贝叶斯个性化排序算法构建兼容性偏好模型；步骤(5)：基于步骤(2)得到的视觉特征的隐含表示和文本特征的隐含表示，建立视觉特征隐含表示和文本特征隐含表示的一致性模型；然后，建立服装的多模态隐含特征一致性模型；步骤(6)：基于步骤(3)、步骤(4)和步骤(5)的计算结果，构建基于深度神经网络的多模态互补服装搭配模型；对已经构建的多模态互补服装搭配模型进行训练；利用已经训练好的多模态互补服装搭配模型进行服装搭配推荐。