[发明专利]融合评论的可解释性服装推荐方法、系统、设备及介质

权利要求书

1.融合评论的可解释性服装推荐方法，其特征是，包括：

构建基于深度学习的编码器-解码器神经网络模型；

对基于深度学习的编码器-解码器神经网络模型进行训练；

将待推荐的上衣图片和下衣图片，同时输入到训练好的编码器-解码器神经网络模型，该模型对上衣图片和下衣图片的匹配程度进行打分，根据打分排序给出推荐结果，同时给出匹配程度的模拟评论；

所述基于深度学习的编码器-解码器神经网络模型，包括：

上衣编码器、下衣编码器、匹配解码器和生成解码器；

所述上衣编码器用于接收上衣图片，并提取上衣图片的上衣视觉特征和上衣编码表示；

所述上衣编码表示包括上衣图片和下衣图片之间的匹配信息；

所述提取上衣图片的上衣编码表示的具体步骤为：利用交互注意力机制，将上衣图片和下衣图片之间的匹配信息编码到提取的上衣图片的视觉特征中，得到上衣图片的编码表示；

所述下衣编码器用于接收下衣图片，并提取下衣图片的下衣视觉特征和下衣编码表示；

所述下衣编码表示包括上衣图片和下衣图片之间的匹配信息；

所述提取下衣图片的下衣编码表示的具体步骤为：利用交互注意力机制，将上衣图片和下衣图片之间的匹配信息编码到提取的下衣图片的视觉特征中，得到下衣图片的编码表示；

所述匹配解码器用于根据上衣编码表示和下衣编码表示，对上衣图片和下衣图片之间的匹配程度进行打分；

所述生成解码器用于根据上衣视觉特征、上衣编码表示、下衣视觉特征和下衣编码表示，对上衣图片和下衣图片的组合生成模拟评论。

2.如权利要求1所述的方法，其特征是，提取上衣图片的上衣视觉特征的具体步骤为：

所述上衣编码器，包括：依次连接的第一卷积层、第二卷积层、第一拼接层以及第一池化层；

所述第一卷积层对上衣图片进行视觉特征提取，得到第一视觉特征；

所述第二卷积层对上衣图片进行视觉特征提取，得到第二视觉特征；

所述第一拼接层对第一视觉特征和第二视觉特征进行串联拼接，将拼接得到的第三视觉特征送入第一池化层；

所述第一池化层对第三视觉特征进行处理，得到上衣图片的上衣视觉特征。

3.如权利要求1所述的方法，其特征是，提取下衣图片的下衣视觉特征的具体步骤为：

所述下衣编码器，包括：依次连接的第三卷积层、第四卷积层、第二拼接层以及第二池化层；

所述第三卷积层对下衣图片进行视觉特征提取，得到第四视觉特征；

所述第四卷积层对下衣图片进行视觉特征提取，得到第五视觉特征；

所述第二拼接层对第四视觉特征和第五视觉特征进行串联拼接，将拼接后得到的第六视觉特征送入第二池化层；

所述第二池化层对第六视觉特征进行处理，得到下衣图片的视觉特征。

4.如权利要求1所述的方法，其特征是，利用交互注意力机制，将上衣图片和下衣图片之间的匹配信息编码到提取的上衣图片的视觉特征中，得到上衣图片的编码表示的具体步骤为：

首先，通过计算下衣视觉特征的平均值得到下衣图片的全局特征；

然后，对上衣图片的每个视觉特征，计算下衣图片的全局特征对上衣图片的视觉特征的注意力权值；对注意力权值进行归一化处理；

其次，利用下衣图片的全局特征对上衣图片的视觉特征的注意力权值，对上衣图片的视觉特征进行加权求和，得到上衣图片的注意力全局特征；

再次，将上衣图片的注意力全局特征映射成视觉特征向量；

再次，将上衣图片的视觉特征向量与上衣图片对应的上衣物品向量进行串联拼接，拼接到的结果即为最终上衣图片的编码表示；

所述上衣物品向量的获取步骤为：

首先，随机初始化一个上衣物品向量矩阵，其中的每一行对应一件上衣；

然后，根据输入的上衣图片，从上衣物品向量矩阵中获取对应的向量，用于之后的计算；

最后，上衣物品向量矩阵将与神经网络的参数一起，以损失函数值最小为目标，通过后向传播BP算法进行更新，最后得到更新后的上衣物品向量。