[发明专利]基于自然语言处理的筛选电商垃圾评论的方法

说明书

本发明涉及一种基于自然语言处理的筛选电商垃圾评论的方法，包括下述步骤：步骤一，对单句进行通用型垃圾评论关键词查找，如果存在，则判为显性垃圾评论；步骤二，使用卷积神经网络，对评论的字句生成评论分类模型，根据相关度进行计算，低于阈值时，该句被判断为疑似隐性垃圾评论；步骤三，疑似隐性垃圾评论通过计算通用型评论关键词的占比，低于阈值，则判为隐性垃圾评论；步骤四，定期提取隐性垃圾评论库中频率较高的热词，加入通用型垃圾评论关键词词库。其优点表现在：可以筛选出带有某些特殊关键词的单常见垃圾评论，可以筛选出不具备关键字但与商品无关的低关联度的评论，可以定期自动获取当前流行的垃圾评论关键词，更新特殊关键词库。

技术领域

本发明涉及自然语言处理领域，具体地说，是一种基于自然语言处理的筛选电商垃圾评论的方法。

背景技术

垃圾评论筛选是基于自然语言处理技术，将在电商网站上出现的垃圾评论、刷分评论等无意义的语句筛选出来的技术方法。该方法对于数据分析方收集整理有效用户评论、制作报表提供了更加可靠的数据参考。

目前已有的垃圾评论筛选仅仅通过一些关键词进行筛选和过滤，不仅可以筛选出的垃圾评论数量很有限，而且对于一些不包含相关关键词较为隐晦或者新式的垃圾评论则无法对其进行成功地过滤，同时现有技术无法对垃圾评论的关键词库进行定期的自动更新，需要额外人力进行维护。因此，现有的方法是无法为电商提供高可靠性的评论案例的。

中国专利文献：CN108073574A，公开日：2018.05.25，公开了一种用于处理自然语言以及训练自然语言模型的方法和设备。所述自然语言处理方法可包括将通过语音识别识别出的句子数据中的词语转换为相应的词向量以及将所述句子数据中的字符转换为相应的字符向量。所述自然语言处理方法还可包括基于所述词向量和所述字符向量来产生句子向量以及基于所述句子向量来确定所述句子数据的意图信息。

中国专利文献：CN106708966A，公开日：2017.05.24，公开了一种基于相似度计算的垃圾评论检测方法，包括下述步骤：步骤1，数据获取：利用网络爬虫，抓取与指定产品相关的论坛、电商等网页，然后抽取网页中的评论数据，并将评论数据保存到数据库中；步骤2，虚假评论检测：计算评论时间与购买时间的时间的差T，若T＜货物运送时间则该条评论为虚假评论。步骤3，重复评论检测：对每条评论进行分词，然后计算评论间的相似度，当评论间的相似度高于阈值，则该评论和其相似的评论即为重复评论；步骤4，数据处理：对评论进行句法分析、情感标注、特征词提取等处理，并根据产品说明书，构建产品特征词典。步骤5，无关评论检测：计算每条评论的评论目标是否为目标产品及其特征，检测出与目标产品无关的评论。

但是关于本发明的一种基于自然语言处理的筛选电商垃圾评论的方法目前还未见报道。

发明内容

本发明的目的是，提供一种基于自然语言处理的筛选电商垃圾评论的方法。

为实现上述目的，本发明采取的技术方案是：

一种基于自然语言处理的筛选电商垃圾评论的方法，所述的基于自然语言处理的筛选电商垃圾评论的方法是基于电商的用户评论内容分析，具体需要进行四个流程；

第一：建立通用型垃圾评论关键词词库，对每个单句进行关键词查找匹配，如果存在，则判定该句为显性垃圾评论，并将其保存到显性垃圾评论库中；

第二：使用卷积神经网络，基于自然语言处理技术生成评论分类模型，使用模型对每条的评论的字句进行分类打标，根据每条评论的分句数和分类标签数进行计算，得出达标率，当达标率低于某一个阈值时，该句可以被判断为疑似隐性垃圾评论；

第三：建立通用型评论关键词库(该词库表示为评论中常见的绝大部分关键词)，如果某条评论被判断为疑似隐性垃圾评论，则需要计算通用型评论关键词在该条评论中的占比，如果这个占比继续低于某一个阈值，则会将该评论定性为隐性垃圾评论，并保存到隐性垃圾评论库中；