[发明专利]基于多模态商品评论分析的商品推荐方法及系统

说明书

本公开公开了基于多模态商品评论分析的商品推荐方法及系统，包括：获取某商品的评论信息；对获取的商品的评论信息进行数据预处理；判断评论信息中是否有图像，如果有图像，则对图像提取图像的情感标签；判断评论信息中是否有视频，如果有视频，则将视频中的音频提取出来，将音频转换为文本；判断评论信息中是否有音频，如果有音频，则将音频转换为文本；判断评论信息中是否有文本，如果有文本，则将评论信息中的文本与转换得到的文本进行整合，得到整合后的文本；对整合后的文本，提取文本的情感标签；将图像的情感标签和文本的情感标签，均输入到预训练的神经网络中，输出当前商品的推荐标签。

技术领域

本公开涉及商品推荐技术领域，尤其涉及基于多模态商品评论分析的商品推荐方法及系统。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

在日常生活中，人类能够通过聆听语言和观察表情以及姿态动作等捕捉对方的情感变化，识别情感状态信息，进而进行情感交流。而如果想让机器能够像人一样的感知和理解情感，那么就必须让机器能够对人类这方面的能力进行模拟，进而让机器具有捕捉多模态的情感特征，并对其进行处理，最后表达出相应人类情感的能力。

在现实生活中，我们文字或者语言只是人的综合理解系统的一部分，用于理解和交流我们遇到的情景以及参与的对象。其中情景表征构成了我们的世界模型，并指导这我们的行为和对语言的理解，解决一个句子中代词的指代问题，可以从构建句子所描述的情景表示开始。情景可以是具体的和静态的，例如大妈在跳广场舞。当人们将文本的陈述与熟悉的场景联系起来，也就是文字和图片或者视频信息联系起来，机器就能更好地理解和记忆文本。正如人在交流的时候，会同时使用语言输入和非语言的输入。

在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：

网上商城的商品评论对于商家运营决策是非常重要的，当一个商品的负面评论过多时，商家会考虑减少或停止售卖该商品，转而用一种评论比较好的商品代替，所以商品的评论分析，对于店家来说是非常重要的。现在人们在给商品评论的时候，写文字的越来越少，更多的人是使用视频或者图片加上少量的文字作为用户给这个商品的评价。因为之前的研究多是基于文本的，但是基于文本的评论分析，很难真正理解用户的意图，不能给商家一个正确的评论分析报告。

发明内容

本公开的目的就是为了解决上述问题，提供基于多模态商品评论分析的商品推荐方法及系统，可以更好的利用商品评论中的视频、图片和文本信息，更好的理解用户评论的级别，本公开中我们设计了五种情感级别分别是-2，-1,0,1,2五种，正数代表积极情感，负数代表消极情感，数字越大情感级别越高，0代表中立，使用图像和自然语言深度学习技术，分析评论的情感，并将图像和自然语言处理的两个深度学习模型的分析，综合考虑，得到一个最终的对评论的评级。

为了实现上述目的，本公开采用如下技术方案：

第一方面，本公开提供了基于多模态商品评论分析的商品推荐方法；

基于多模态商品评论分析的商品推荐方法，包括：

获取某商品的评论信息；

对获取的商品的评论信息进行数据预处理；

判断评论信息中是否有图像，如果有图像，则对图像提取图像的情感标签；

判断评论信息中是否有视频，如果有视频，则将视频中的音频提取出来，将音频转换为文本；如果没有视频，则进入下一步；

判断评论信息中是否有音频，如果有音频，则将音频转换为文本；如果没有音频，则进入下一步；

判断评论信息中是否有文本，如果有文本，则将评论信息中的文本与转换得到的文本进行整合，得到整合后的文本；如果没有文本，则返回商品的评论信息获取步骤；