[发明专利]结合分类算法与非监督算法的文本质量控制方法及系统

权利要求书

1.一种结合分类算法与非监督算法的文本质量控制方法，其特征在于，包括如下步骤：

收集步骤：收集文本数据；

过滤步骤：过滤所述文本数据中的无关数据，获取过滤文本；

去噪步骤：删除所述过滤文本中的通用噪声数据，获取去噪文本；

分数输出步骤：删除所述去噪文本中的标题党数据，并输出文本质量分。

2.如权利要求1所述的结合分类算法与非监督算法的文本质量控制方法，其特征在于，所述收集步骤具体包括以下步骤：

类别定制步骤：根据企业信息定制内容分发类别；

关键词定制步骤：定制每个所述内容分发类别下的关键词；

抓取步骤：抓取包含所述关键词的文本，获取所述文本数据。

3.如权利要求1所述的结合分类算法与非监督算法的文本质量控制方法，其特征在于，所述过滤步骤具体包括以下步骤：

相似度计算步骤：采用欧式距离计算所述关键词与embedding词表中词语的相似度；

排序步骤：根据所述相似度对所述embedding词表中词语进行排序，获取与所述关键词相关的相似词表；

分词步骤：采用jieba分词对所述文本数据进行分词，得到文本词表；

遍历步骤：基于所述文本词表在所述相似词表中进行遍历，根据遍历结果获取主题相关度指标，过滤与所述关键词无关的数据。

4.如权利要求1所述的结合分类算法与非监督算法的文本质量控制方法，其特征在于，所述去噪步骤具体包括以下步骤：

挖掘步骤：采用聚类算法根据所述关键词和所述相似词表挖掘文本噪声类别；

标注步骤：根据所述文本噪声类别进行数据标注：

模型构建步骤：采用标注的数据进行训练，构建文本多分类模型。

5.如权利要求4所述的结合分类算法与非监督算法的文本质量控制方法，其特征在于，所述模型构建步骤具体包括以下步骤：

提取步骤：对所述标注的数据进行摘要提取；

类别计算步骤：分别针对标题和摘要内容构建多分类算法，计算得到所述标题和摘要的预测类别；

噪声删除步骤：判断所述标题和摘要的预测类别是否均属于所述文本噪声类别，则是认为数据为所述通用噪声数据进行删除。

6.如权利要求1所述的结合分类算法与非监督算法的文本质量控制方法，其特征在于，所述分数输出步骤具体包括以下步骤：

标题分词步骤：对所述标题进行分词，并去除一些停用词，获取所述标题的关键词组合；

内容提取步骤：基于所述相似词表从所述去噪文本中提取词列表；

数据删除步骤：对所述关键词组合和所述词列表中的词进行相似度计算，获取标题相似度，根据所述标题相似度删除所述标题党数据；

质量分计算步骤：将所述主题相关度指标与所述标题相似度相乘，获取所述文本质量分并输出。

7.如权利要求3所述的结合分类算法与非监督算法的文本质量控制方法，其特征在于，所述相似词表中的词不包含所述关键词。

8.如权利要求5所述的结合分类算法与非监督算法的文本质量控制方法，其特征在于，所述摘要提取采用TextRank算法。

9.如权利要求5所述的结合分类算法与非监督算法的文本质量控制方法，其特征在于，所述多分类算法采用TextRCNN。

10.一种结合分类算法与非监督算法的文本质量控制系统，其特征在于，包括：

收集模块，收集文本数据；

过滤模块，过滤所述文本数据中的无关数据，获取过滤文本；

去噪模块，删除所述过滤文本中的通用噪声数据，获取去噪文本；

分数输出模块，删除所述去噪文本中的标题党数据，并输出文本质量分。