[发明专利]一种评论内容过滤方法及系统

权利要求书

1.一种评论内容过滤方法，其特征在于，包括：

对评论主体的所有评论进行分词处理，获得所述评论的词语序列；

根据所述评论中每个词语对应的词向量确定所述评论中任意两个词语之间的相关度，利用所述评论中所有词语之间的相关度确定所述评论内容有意义的概率，将所述概率小于等于阈值所对应的评论过滤掉，其中，所述相关度用于表示两个词语出现在同一语境下的概率，词语之间的语境越不同，词语的相关度越小；

根据高频词库对过滤处理后剩余评论的词语序列再次进行过滤处理，所述高频词库中的高频词是针对所述评论主体的样本评论内容的词语作词频统计时将大于词频阈值且与所述评论主体无实际意义的词语构成的。

2.如权利要求1所述的方法，其特征在于，还包括：

将经过所述高频词库过滤之后所述词语序列中剩余的词语进行统计，根据统计结果更新所述高频词库。

3.如权利要求1所述的方法，其特征在于，还包括：

经过高频词库过滤处理之后所述词语序列中剩余的词语与停用词库进行匹配，根据匹配结果将停用词从所述评论的词语序列中过滤掉；其中，所述停用词库通过开源词库获取或自行定义获取。

4.如权利要求1所述的方法，其特征在于，根据高频词库对过滤处理后剩余评论的词语序列再次进行过滤处理的方法为：

对过滤处理后剩余评论的词语序列与所述高频词库进行匹配，根据匹配结果将高频词从所述词语序列中过滤掉。

5.如权利要求3所述的方法，其特征在于，所述停用词包括数字、字母、标点符号、emoji、虚词。

6.一种评论内容过滤系统，其特征在于，所述系统包括：存储器和处理器，所述存储器中存储计算机程序，所述计算机程序被所述处理器执行时，实现以下功能：

对评论主体的所有评论进行分词处理，获得所述评论的词语序列；

根据所述评论中每个词语对应的词向量确定所述评论中任意两个词语之间的相关度，利用所述评论中所有词语之间的相关度确定所述评论内容有意义的概率，将所述概率小于等于阈值所对应的评论过滤掉，其中，所述相关度用于表示两个词语出现在同一语境下的概率，词语之间的语境越不同，词语的相关度越小；

根据高频词库对过滤处理后剩余评论的词语序列再次进行过滤处理；

获得高频词库，所述计算机程序被所述处理器执行时，实现以下功能：针对所述评论主体的样本评论内容的词语作词频统计时将大于词频阈值且与所述评论主体无实际意义的词语构成高频词库。

7.如权利要求6所述的系统，其特征在于，所述计算机程序被所述处理器执行时，还实现以下功能：

将经过所述高频词库过滤之后所述词语序列中剩余的词语进行统计，根据统计结果更新所述高频词库。

8.如权利要求6所述的系统，其特征在于，所述计算机程序被所述处理器执行时，还实现以下功能：

经过高频词库过滤处理之后所述词语序列中剩余的词语与停用词库进行匹配，根据匹配结果将停用词从所述评论的词语序列中过滤掉；其中，所述停用词库通过开源词库获取或自行定义获取。

9.如权利要求6所述的系统，其特征在于，根据高频词库对过滤处理后剩余评论的词语序列再次进行过滤处理，所述计算机程序被所述处理器执行时，实现以下功能：

对过滤处理后剩余评论的词语序列与所述高频词库进行匹配，根据匹配结果将高频词从所述词语序列中过滤掉。