[发明专利]一种文本数据过滤方法、装置及介质

权利要求书

1.一种文本数据过滤方法，其特征在于，包括：

获取待过滤的第一文本数据；

通过启发式规则过滤所述第一文本数据中的垃圾数据，得到第二文本数据；

通过第一语言模型过滤所述第二文本数据中的非正常语句，得到第三文本数据。

2.根据权利要求1所述的方法，其特征在于，所述通过启发式规则过滤所述第一文本数据中的垃圾数据，得到第二文本数据，包括：

获取所述第一文本数据中符合第二预设规则的文本作为所述垃圾数据；

剔除所述垃圾数据，得到所述第二文本数据；

其中，符合所述第二预设规则的文本为：包含有乱码的文本、长度超过阈值的文本、文本内容中片段重复多次的文本及出现敏感词的文本中的至少一种；

当所述第一文本数据中的文本根据字典树和正则匹配规则匹配到敏感词库中敏感词的文本，判定为所述出现敏感词的文本数据。

3.根据权利要求1或2所述的方法，其特征在于，所述通过第一语言模型过滤所述第二文本数据中的非正常语句之前，还包括：

通过模型训练获取所述第一语言模型，所述第一语言模型中包含所述第二文本数据中所有词语的词向量；

所述通过第一语言模型过滤所述第二文本数据中的非正常语句，得到第三文本数据，包括：

所述第一语言模型根据所述词向量，获取所述第二文本数据中任意两个连续出现的词语之间的词语正确率；

获取所述第二文本数据的每个句子中的所述词语正确率的和，得到每个句子的句子正确率；

判定所述第二文本数据中句子正确率低于预设值的句子为所述非正常语句；

将所有非正常语句从所述第二文本数据中滤除，得到所述第三文本数据。

4.根据权利要求1所述的方法，其特征在于，所述通过第一语言模型过滤所述第二文本数据中的非正常语句，得到第三文本数据之后，还包括：

对所述第三文本数据进行文本向量化，得到文本向量集合；

通过分布式文本聚类方法对所述文本向量集合中的所有文本向量进行聚类，以得到聚类结果；

按照第一预设规则从所述聚类结果中获取过滤后的第四文本数据。

5.根据权利要求4所述的方法，其特征在于，所述对所述第三文本数据进行文本向量化之前，还包括：

对所述第三文本数据进行分词；

对分词后的所述第三文本数据进行停止词的过滤；

所述对所述第三文本数据进行文本向量化，得到文本向量集合，包括：

对经过分词和停止词过滤后的所述第三文本数据进行文本向量化，得到所述文本向量集合，所述文本向量集合包含所述第三文本数据中所有文本的文本向量。

6.根据权利要求4所述的方法，其特征在于，所述分布式文本聚类方法，包括：

根据文本向量集合获取第一矩阵，所述第一矩阵包含所述文本向量集合中的所有文本向量；

拆分所述第一矩阵得到X个子矩阵，所述X为大于1的整数；

根据所述X个子矩阵确定X个相似度子矩阵，其中，第一相似度子矩阵中包括第一子矩阵中的Y个文本向量与所述第一矩阵中的Z个文本向量分别比对后的Y*Z个相似度，所述Y和所述Z均为大于1的整数，所述第一子矩阵为所述X个子矩阵中的一个，所述第一相似度子矩阵为所述X个相似度子矩阵中的一个；

对所述X个相似度子矩阵分别进行矩阵稀疏化处理，以得到稀疏化后的X个第二相似度子矩阵；

对所述X个第二相似度子矩阵进行合并，以得到第一相似度矩阵；

根据所述第一相似度矩阵对所述文本向量集合中的所有文本向量进行聚类。

7.根据权利要求6所述的方法，其特征在于，所述拆分所述第一矩阵得到X个子矩阵，包括：

根据M行N列的拆分规则对所述第一矩阵进行拆分，得到所述X个子矩阵。

8.根据权利要求7所述的方法，其特征在于，所述根据所述X个子矩阵确定X个相似度子矩阵，包括：

将所述X个子矩阵分别乘以所述第一矩阵的转置矩阵，以得到所述X个相似度子矩阵。