[发明专利]基于多模态商品评论分析的商品推荐方法及系统

权利要求书

1.基于多模态商品评论分析的商品推荐方法，其特征是，包括：

获取某商品的评论信息；

对获取的商品的评论信息进行数据预处理；

判断评论信息中是否有图像，如果有图像，则对图像提取图像的情感标签；

判断评论信息中是否有视频，如果有视频，则将视频中的音频提取出来，将音频转换为文本；如果没有视频，则进入下一步；

判断评论信息中是否有音频，如果有音频，则将音频转换为文本；如果没有音频，则进入下一步；

判断评论信息中是否有文本，如果有文本，则将评论信息中的文本与转换得到的文本进行整合，得到整合后的文本；如果没有文本，则返回商品的评论信息获取步骤；

对整合后的文本，提取文本的情感标签；具体步骤包括：S401：使用训练好的BERT+CRF模型对整合后的文本进行情感方面的识别，识别出文本评论中的表示情感方面的单词；S402：统计表示情感方面单词的上下文信息，上下文信息映射到一个向量中；S403：将映射得到的向量，输入到预训练的GRU模型中，输出整合后文本对应的情感标签；

根据图像的情感标签和文本的情感标签，利用注意力网络来提取当前商品的推荐标签；其中，注意力网络的预训练过程包括：构建注意力网络；构建训练集，所述训练集，包括已知推荐标签的商品的文本情感标签和图像情感标签；将训练集输入到注意力网络中，对注意力网络进行训练，得到训练好的注意力网络。

2.如权利要求1所述的方法，其特征是，对获取的商品的评论信息进行数据预处理，包括：对评论信息中的图像进行数据预处理、对评论信息中的音频进行数据预处理、对评论信息中的视频进行数据预处理和对评论信息中的文本进行数据预处理。

3.如权利要求1所述的方法，其特征是，对图像提取图像的情感标签；具体步骤包括：

S301：构建卷积神经网络VGG16；

S302：利用ImageNet图片数据库对卷积神经网络VGG16进行预训练；

S303：将已知情感标签的评论图像，输入到预训练后的卷积神经网络VGG16中，对卷积神经网络VGG16进行优化训练，得到优化训练后的卷积神经网络VGG16；

S304：将待特征提取的图像，输入到优化训练后的卷积神经网络VGG16中，输出图像的情感标签。

4.如权利要求1所述的方法，其特征是，判断评论信息中是否有视频，如果有视频，则将视频中的音频提取出来；具体步骤包括：

使用OpenCV中VideoCapture类和Python视频编辑库MoviePy库，裁剪、拼接、标题插入、视频合成、视频处理和自定义效果，使用OpenCV获取视频的音频数据，然后将音频数据存储到数据库中。

5.如权利要求1所述的方法，其特征是，将音频转换为文本，具体步骤包括：

使用Python视频编辑库的speechrecognition模块，来将语音转为文字。