[发明专利]一种垃圾评论的检测识别方法

权利要求书

1.一种垃圾评论的检测识别方法，其特征在于：包括下列步骤：

S1、对词语、主题、评论、评论集合信息进行数据处理，从而对评论数据进行初步处理；

S2、构建主题模型；

S3、对评论数据进行预处理；

S4、检测每条评论的评论目标是否为目标商品及其特征，检测出与目标商品无关的评论；

S5、训练主题模型：对比垃圾评论与真实评论之间主题的差异，进而得出相似度阈值，从而判定垃圾评论。

2.根据权利要求1所述的一种垃圾评论的检测识别方法，其特征在于：所述S1中对词语、主题、评论、评论集合信息进行数据处理的方法为：所述词语是组成一条评论的基本单位，所述词语采用w_N表示，所述词语采用索引为1～N的字典向量表示，所述N是词语的总数目；所述主题是从所有评论抽取出的词语，所述主题反映评论的核心语义关系，所述主题采用z表示；所述评论采用D表示，每条评论中包含多个词语w，所述D＝{w₁,w₂,…,w_N}，所述w_i为评论中的第i个词语；所述评论集合是所有评论的集合，所述X＝{D₁,D₂,…,D_M}，所述M为所有评论的总数，所述D_i为评论集合中的第i个评论。

3.根据权利要求2所述的一种垃圾评论的检测识别方法，其特征在于：所述S1中对在线商城评论数据进行初步处理的方法为：

检测是否存在重复评论，若存在，对重复评论进行删除，即D_i＝D_j时，则{X|removeD_i orD_j}；

检测是否存在无意义词语，若存在，对含有无意义词语的评论进行删除，设无意义词语集为o，当w_i∈o时，则{w|remove w_i}。

4.根据权利要求1所述的一种垃圾评论的检测识别方法，其特征在于：所述S2中构建主题模型的方法为：包括下列步骤：

S2.1、将每一条评论用一个词频向量表示，且评论中的词语不考虑顺序，每一条评论包含多个主题，每一个主题包含多个词语，从而形成了商品下的每一条评论；

S2.2、采用标签主题扩充评论主题；

S2.3、将每一条评论表示成评论主题的主题分布所述所述主题分布的每个分量为评论中每个主题出现的概率，将每个主题表示成评论中包含词语的词语分布所述所述词语分布中的每个分量为主题的每个词语出现的概率；

S2.4、将评论的标签主题分布表示为所述所述标签主题分布中的每个分量为标签主题的概率，将标签主题的词语分布表示为所述所述标签主题的词语分布中的每个分量为标签主题的不同词语的概率。

5.根据权利要求1所述的一种垃圾评论的检测识别方法，其特征在于：所述S3中对评论数据进行预处理的方法为：

S3.1、对评论数据进行分词操作；

S3.2、观察分词结果，观察评论中是否存在有较多语气词，若存在，对含有较多语气词的评论进行删除；

S3.3、通过Word2Vec算法计算词语在评论中的重要程度，按照重要程度大小顺序进行排列；

S3.4、通过八爪鱼采集器获取到评论数据，对获取到的评论数据预先做出是否为垃圾评论的标识，并对评论数据进行标注；

S3.5、将评论数据按照商品的类别划分成三个评论子数据集，采用有偿标注的方式对每个子数据集进行标注；

S3.6、标注过程中，若出现对同一评论的两个标注结果不同的现象，将重新对该评论进行甄别，取三个标注数据的交集，集合成一个分别包含不同商品类别的评论数据集。

6.根据权利要求1所述的一种垃圾评论的检测识别方法，其特征在于：所述S5中训练主题模型包括Gibbs采样参数估计和模型训练。