[发明专利]基于自然语言处理的筛选电商垃圾评论的方法

权利要求书

1.一种基于自然语言处理的筛选电商垃圾评论的方法，其特征在于，所述的基于自然语言处理的筛选电商垃圾评论的方法是基于自然语言处理的筛选电商垃圾评论的方法是基于电商的用户评论内容分析，具体需要进行四个流程；

第一：建立通用型垃圾评论关键词词库，对每个单句进行关键词查找匹配，如果存在，则判定该句为显性垃圾评论，并将其保存到显性垃圾评论库中；

第二：使用卷积神经网络，基于自然语言处理技术生成评论分类模型，使用模型对每条的评论的字句进行分类打标，根据每条评论的分句数和分类标签数进行计算，得出达标率，当达标率低于某一个阈值时，该句可以被判断为疑似隐性垃圾评论；

第三：建立通用型评论关键词库(该词库表示为评论中常见的绝大部分关键词)；如果某条评论被判断为疑似隐性垃圾评论，则需要计算通用型评论关键词在该条评论中的占比，如果这个占比继续低于某一个阈值，则会将该评论定性为隐性垃圾评论，并保存到隐性垃圾评论库中；

第四：定期统计整理隐性垃圾评论库，提取其中频率较高且符合某一规则的热词，自动加入到通用型垃圾评论的关键词词库中，从而实现定期自动扩展通用垃圾评论关键词库的功能。从而使得通用型垃圾评论关键词库保持一定的时效性。

2.根据权利要求1所述的基于自然语言处理的筛选电商垃圾评论的方法，其特征在于，所述的基于自然语言处理的筛选电商垃圾评论的方法包括预打标模块(1)、人工标注模块(2)、卷积神经网络训练模块(3)、算法标注模块(4)、垃圾评论筛选模块(5)；所述的预打标模块(1)通过建立情感词库标签，将情感词匹配到情感标签，将标签导出到文本一，通过批量读取天猫评论数据，逐句将评论数据分词，根据情感词库关键字匹配分词结果，匹配到的结果按标签进行机器标注，一句评论可有多个标签，按行生成文本二；所述的人工标注模块(2)通过将上述的文本一和文本二导入到人工标注平台，标注平台可展现当前文本打标结果，人工进行校验，如标签没问题，点击保存通过。标签错误可删除，缺少标签可添加，保存，将标注完的结果导出文本三，结果类似文本二，是人工校验后的结果；所述的积神经网络训练模块(3)通过将文本三的数据使用卷积神经网络进行训练，使用训练好的词向量，将分词结果转换为词向量将转换后的词向量，使用2，3，4，5四种过滤器，分别做卷积与最大池化，定义损失函数，做全连接层进行softmax回归输出多分类概率，使用Adam优化算法训练，保存模型；所述的算法标注模块(4)通过将评论数据分句，每个子句做为输入文本，读取训练模型，将子句文本转化为标签分类概率，取大于0.5概率的标签，将子句组合成原句，并保存子句标签；所述的垃圾评论筛选模块(5)包括关键词筛选显性垃圾评论模块(51)、评论字句标签比例计算模块(52)、评论字句关键词比例计算模块(53)、提取隐性垃圾评论模块(54)、新型垃圾评论关键词回收模块(55)；所述的关键词筛选显性垃圾评论模块(51)通过将电商评论分句分别输入过滤器，根据常见垃圾评论关键词进行筛选，如果存在符合条件的分句，则该条评论被定性为显性垃圾评论，保存到显性垃圾评论库中；所述的评论字句标签比例计算模块(52)通过将剩余评论的字句数目和标签数输入到标签比例计算模块中，计算该评论的打标率，判断打标率是否大于0.3，如果某条评论打标率低于0.3，则会将该评论输入到关键词比例计算模块中；所述的评论字句关键词比例计算模块(53)根据电商评论常见关键词库中的关键词，计算出这类关键词在该条评论中出现的比例，即包含这类关键词的字句在评论所有字句中的占比，判断这个比例是否低于0.3；所述的提取隐性垃圾评论模块(54)将在关键词占比计算中依旧低于0.3的评论判断为隐性垃圾评论，并将该评论保存到隐性垃圾评论库中；所述的新型垃圾评论关键词回收模块(55)通过定期自动抽取隐性垃圾评论中的评论，提取其中具备垃圾评论特征的热词，加入到显性垃圾评论的关键词库中。