[发明专利]一种文本数据过滤方法、装置及介质

说明书

本申请提供一种文本数据过滤方法，用于对用户生成内容进行过滤，例如贴吧、论坛或应用商店中用户发表的评论内容，包括：获取待过滤的第一文本数据；通过启发式规则过滤第一文本数据中的垃圾数据，得到第二文本数据；通过第一语言模型过滤第二文本数据中的非正常语句，得到第三文本数据；本申请还提供一种文本数据过滤装置、计算机设备及介质；能够对用户生成内容中不同类型的垃圾数据分别进行过滤。

技术领域

本发明涉及文本处理技术领域，更具体地说，涉及一种文本数据过滤方法、装置及介质。

背景技术

用户生成内容(user generated content，UGC)，即用户原创内容，比如百度贴吧，各大论坛或应用商店中用户发表的评论等。网站管理员需要对UGC进行管理，从而避免评论区充斥大量垃圾数据，导致影响评论质量。

UGC垃圾数据包含多种不同的类型的垃圾数据。现有技术中还没有一种方法，能够分别对UGC中不同类型的垃圾数据进行过滤。

因此，上述问题还有待于改进。

发明内容

有鉴于此，为解决上述问题，本发明提供一种分布式文本聚类方法。技术方案如下：

一种文本数据过滤方法，包括：

获取待过滤的第一文本数据；

通过启发式规则过滤所述第一文本数据中的垃圾数据，得到第二文本数据；

通过第一语言模型过滤所述第二文本数据中的非正常语句，得到第三文本数据。

一种文本数据过滤装置，包括：

获取单元，所述获取单元用于获取待过滤的第一文本数据；

第一过滤单元，所述第一过滤单元用于通过启发式规则过滤所述获取单元获取的所述第一文本数据中的垃圾数据，得到第二文本数据；

第二过滤单元，所述第二过滤单元用于通过第一语言模型过滤所述第一过滤单元过滤后的所述第二文本数据中的非正常语句，得到第三文本数据。

可选地，该第一过滤单元，用于：

获取所述第一文本数据中符合第二预设规则的文本作为所述垃圾数据；

剔除所述垃圾数据，得到所述第二文本数据；

其中，符合所述第二预设规则的文本为：包含有乱码的文本、长度超过阈值的文本、文本内容中片段重复多次的文本及出现敏感词的文本中的至少一种；

当所述第一文本数据中的文本根据字典树和正则匹配规则匹配到敏感词库中敏感词的文本，判定为所述出现敏感词的文本数据。

可选地，该第二过滤单元，用于：

通过模型训练获取所述第一语言模型，所述第一语言模型中包含所述第二文本数据中所有词语的词向量；

所述通过第一语言模型过滤所述第二文本数据中的非正常语句，得到第三文本数据，包括：

所述第一语言模型根据所述词向量，获取所述第二文本数据中任意两个连续出现的词语之间的词语正确率；

获取所述第二文本数据的每个句子中的所述词语正确率的和，得到每个句子的句子正确率；

判定所述第二文本数据中句子正确率低于预设值的句子为所述非正常语句；

将所有非正常语句从所述第二文本数据中滤除，得到所述第三文本数据。

可选地，所述文本数据过滤装置还包括：

文本向量化单元，所述文本向量化单元用于，对所述第三文本数据进行文本向量化，得到文本向量集合；