[发明专利]基于图像和文本多模态数据的产品外观风格评价方法和系统

说明书

本发明提供了一种基于图像和文本多模态数据的产品外观风格评价方法和系统，包括：图像美学风格模型，为多层卷积神经网络模型，彩色图像为输入、多维图像风格分类为输出；图像美学风格预测算法，进行预训练和迁移学习，预测产品图像的风格类型；语义情感分析模块，使用图像美学风格预测算法中的风格标签处理用户线上评论，计算用户反馈的产品风格倾向；多模态融合评价模块，融合图像美学风格预测算法输出的产品风格预测和语义情感分析输出的产品风格反馈，提供外观风格方面的产品评价结果。本方法融合了产品图像信息与用户反馈文本信息，基于数据建模与分析实现外观风格方面的产品评价，相比于传统的专家评定法具有更加客观、科学、准确的优点。

技术领域

本发明涉及多模态数据技术领域，具体地，涉及一种基于图像和文本多模态数据的产品外观风格评价方法和系统。

背景技术

随着近年来逐渐提升的消费者综合要求和越来越多的商品种类，产品外观对消费者的购买决策的影响也越来越大。对许多日常消费品如收音机、吹风机等，产品外观正逐步成为影响产品成功的决定性因素。产品外观的美学风格对产品的综合外观十分重要，并且与所吸引的用户类型息息相关。美学风格一般是由特定词汇语义描绘的抽象审美概念，有一定的主观性和模糊性，其审美概念与特定词汇所传递给用户的美学联想可能存在差异，在实际中，常同时使用若干种不同的美学风格，以多个风格词汇和对应的多维美学风格值对产品进行描述。产品设计师所要传递的美学风格一般由产品图像来体现，而用户所实际体验的风格在用户反馈评论中常常有体现，两者的差异反映了产品风格呈现的成功度，越是成功的外观设计，其所要传递的美学风格与用户实际反馈的风格越是接近。

图像美学风格分析基于图像处理与分析，通过对图像和美学风格标签之间的映射关系进行建模，发掘图像所呈现美学风格的规律，可用于对产品图像的美学风格预测。美学风格具有较大的普适性，例如适用于风景、人物等图像的风格也可用于形容产品外观，因此基于已有的大型图像美学风格分类数据集学习的图像与美学风格映射关系，经过较小的调整即可适用于产品图像。AVA(A Large-Scale Database for Aesthetic VisualAnalysis)是一个包含超过250000张有标签图像的图像美学数据集，共有14种美学风格标签。在特定的产品领域下创建一个较小的有标签产品图像数据集，则仅需收集部分产品图像进行风格标注，经过数据增强后以较少的成本完成创建。

语义情感分析是近年来迅速发展的一种基于文本进行情感倾向分析的语义处理技术，能够通过对文本进行处理和分析，获得文本所体现的对一些特征的情感倾向。这些特征可以是具体事物如产品，也可以是抽象概念如某种美学风格。情感倾向一般是两极的，正面和负面倾向，情感倾向越偏向正面的，对应特征的体现程度越高。

传统的外观风格评价方法主要是专家打分法，方法本身存在主观性很强的缺点，对于外观风格评价这样的抽象和模糊的任务缺点更为明显。

专利文献CN106600385A(申请号：CN201611251457.5)公开了一种基于用户追踪的在线产品分析系统，包括用户评论数据模块、文本数据模块、图像数据模块、文件数据分析模块、图像数据分析模块、综合评价分析模块和用户交互模块，用户评论数据模块用于提取商品用户的评论数据，用户评论数据模块分别连接至文本数据模块和图像数据模块，文本数据模块连接至文件数据分析模块，文件数据分析模块连接至综合评价分析模块，图像数据模块连接至图像数据分析模块，图像数据分析模块连接至综合评价分析模块，综合评价分析模块连接至用户交互模块。而本发明基于模型和算法进行了训练，更为真实准确。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于图像和文本多模态数据的产品外观风格评价方法和系统。

根据本发明提供的基于图像和文本多模态数据的产品外观风格评价方法，包括构建图像美学风格模型，使用图像美学风格预测算法，进行语义情感分析和多模态融合评价；

所述图像美学风格模型为多层卷积神经网络模型，以彩色图像为输入，以多维的图像风格分类为输出；