[发明专利]一种基于电商平台用户评论的产品问题分析方法和系统

说明书

本发明公开了一种基于电商平台用户评论的产品问题分析方法和系统，基于自然语言处理、深度学习，能够通过对海量评论利用文本分类和情感分析算法快速分析出用户提及的产品问题。

技术领域

本发明涉及电商/互联网技术领域，涉及对自然语言处理技术，尤其涉及基于电商平台用户评论的产品问题分析。

背景技术

电商行业的发展非常迅速，现在的规模已经非常庞大，每天产生的评论数以亿计。不管是对电商平台的用户查看商品口碑，还是对电商商家自己收集产品问题，人工很难看完所有的评论内容。对此，如果能通过计算机自动处理这些评论，并提取出用户对于商品提及的主要问题(如质量、材质、物流等)，通过数据分析的方法把结果转为数据表，就可以在统计意义上观察产品的主要问题。目前电商平台也有自己的大词统计，但是只能看到词频，并不能看到历史的变化和图表来帮助商家和用户更快速直观地发现产品问题。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何帮助商家和用户从产品评论中更快速直观地发现产品问题。

为实现上述目的，本发明首先提供了一种基于电商平台用户评论的产品问题分析方法，包括步骤：

(1)构建特征维度：根据行业和\或产品属性构建用于产品问题分析的特征维度；

(2)标注训练样本：通过爬虫获取足够数量的同一行业或同一类型产品的用户评论数据作为样本，根据中英文断句的标点符号对样本进行分句处理；根据(1)中构建的特征维度进行标注，得到带有维度标签和各维度情感标签的训练样本；

(3)训练模型：搭建包括至少一个Embedding层和两个Dense层的神经网络模型，使用(2)中标注后的训练样本按照7比3或8比2的比例拆分为训练样本和测试样本，对训练样本进行分词处理得到分词模型，并构建索引词表，然后将分词后的文本训练向量化模型，向量化后的样本训练得到多维度分类模型和各维度情感分析模型；

(4)提取候选关键词：循环筛选包括各个维度分类下的各情感分的训练样本，利用词频统计提取出排在前N位的分词结果，纳入候选关键词库；

(5)配置大小词映射表：对候选关键词库中涉及相同问题的关键词进行分类合并，设置可统领涉及同类问题的小词的大词，得到大小词映射表；

(6)用户评论预处理：根据中英文断句的标点符号对评论进行分句处理；对评论分句使用(3)中得到的分词模型、索引词表和向量化模型进行向量化处理转为向量矩阵；

(7)特征维度分类：将分句向量矩阵导入多特征维度分类模型中，得到维度分类结果；

(8)情感分析：得到分句的维度分类结果后，加载对应维度的情感分析模型，得到所有分句的情感分；

(9)提取关键大词：通过得到的维度分类和情感分，根据大小词映射表，通过匹配小词来得到对应的大词；

(10)根据得到的关键大词和情感分，按月显示产品的各关键大词的情感分均值历史走势或者获取一个或多个竞品的用户评论的关键大词和情感分与产品进行比对分析；

(11)结果评估：对(3)中得到的测试样本，使用(3)中得到的多维度分类模型和各维度情感分析模型，得到每一条样本的维度结果和各维度情感分，和测试样本自带的标注结果对比，得到维度分类准确率和各维度情感分析准确率，对未达到90％准确率的维度，重复步骤(2)和(3)，进行样本补充。同理，步骤(9)之后可以得到每一条用户评论对应的维度和各维度情感分，对结果进行校验得到维度分类准确率和各维度情感分析准确率，对未达到90％准确率的维度，重复步骤(2)和(3)，进行样本补充。

进一步地，用户评论数据通过爬虫选择多个同类产品的评论获取。

进一步地，采用人工标注或者开源工具对训练样本进行标注。