[发明专利]基于图像和文本多模态数据的产品外观风格评价方法和系统

权利要求书

1.一种基于图像和文本多模态数据的产品外观风格评价方法，其特征在于，包括构建图像美学风格模型，使用图像美学风格预测算法，进行语义情感分析和多模态融合评价；

所述图像美学风格模型为多层卷积神经网络模型，以彩色图像为输入，以多维的图像风格分类为输出；

所述图像美学风格预测算法用于进行预训练和迁移学习，预测产品图像的风格类型；

所述语义情感分析包括：使用图像美学风格预测算法中的风格标签处理用户线上评论，计算用户反馈的产品风格倾向；

所述多模态融合评价包括：融合图像美学风格预测算法输出的产品风格预测和语义情感分析输出的产品风格反馈，提供外观风格方面的产品评价结果；

所述图像美学风格预测算法采用迁移学习策略，首先在大型图像美学风格分类数据集AVA上使用数据集的14种风格标签进行预训练，随后在特定产品领域下14种风格标签标注的小型产品图像风格数据集上进行微调，在无标签的测试集上进行测试；

测试图像的图像美学风格模型预测输出为该图像的风格预测结果，为14维向量P＝(P₁,P₂…P₁₄)，P满足：

∑_iP_i＝1

其中，P_i表示该图像属于第i种风格的概率；

所述语义情感分析模块，使用图像美学风格预测算法中的14个风格标签处理线上用户评论，使用WordNet语义词典的同义查找方法lemma_names分别找到14个风格标签的同义词，将各个风格标签扩充为风格词集，包括以下步骤：

步骤1：对第i个风格标签词，分别在WordNet中查找该词对应的语义集合Synsets_i；

步骤2：对Synsets_i中的第j个语义synset_ij，使用lemma_names方法找到其同义词集合lem_ij；

步骤3：将第i个风格标签词对应的所有同义词集合lem_ij组成第i个风格词集Set_i：

Set_i＝∪_jlem_ij；

所述语义情感分析包括：将风格标签扩充为风格词集后，从线上电商平台上收集预设产品的线上用户评论，对评论文本进行清洗和预处理，包括以下步骤：

步骤1：文本收集，使用python库urllib进行自动收集线上用户评论；

步骤2：文本清洗，包括筛除重复的语句，筛除不属于预设语言的语句，筛除只包含非文本内容的语句，剔除拼写错误的词；

步骤3：文本预处理，包括将所有字符转为小写字母，剔除不符合规范的标点符号，剔除停用词，将所有动词转为现在时态；

所述语义情感分析模块包括：对评论文本清洗和预处理后，依次对文本中的每个单词使用WordNet提供的语义相似度计算方法lin_similarity分别计算与14个风格词集的相似度，处理完所有文本后，统计所有词的相似度结果，得到用户反馈的风格倾向结果，第k个单词w_k与第i个风格词集Set_i的相似度Sim_k,i计算公式为：

Sim_k,i,t为第k个单词w_k与第i个风格词集Set_i中第t个词的相似度：

其中，synset_km为第k个单词w_k的语义集合Synsets_k中的第m个语义，synset_itn为第i个风格词集Set_i中第t个词的语义集合Synsets_it中的第n个语义，lin_similarity为WordNet提供的语义相似度计算方法；

统计所有词的相似度计算结果，用户反馈的对第i个风格的归一化倾向值O_i为：

O′_i＝Σ_kSim_k,i

O_i＝O′_i/∑_iO′_i

最后得出产品的用户反馈的风格倾向O＝(O₁,O₂…O₁₄)，作为语义情感分析的输出。