[发明专利]一种用于互联网文本信息的噪声过滤和自动分类方法

权利要求书

1.一种用于互联网文本信息的噪声过滤和自动分类方法，所述方法包括：

构建用于互联网文本信息的噪声过滤和自动分类模型；所述噪声过滤和自动分类模型包括预设的噪声检测模块，预设的噪声过滤模块和预设的自动分类模块；所述噪声检测模块基于FastText模型建立；

将预先获取的互联网文本信息输入所述噪声检测模块；

当检测到所述互联网文本信息包含噪声时，将所述互联网文本信息输入所述噪声过滤模块，根据所述互联网文本信息中文本对象间的语义相似度值进行过滤，得到不包含噪声的互联网文本信息；

根据所述不包含噪声的互联网文本信息生成样本集，使用所述样本集训练和测试所述自动分类模块，得到训练好的噪声过滤和自动分类模型；

将预先获取的互联网文本信息输入所述训练好的噪声过滤和自动分类模型，得到互联网文本分类结果；

构建所述噪声检测模块的方式包括：

根据预设的规则标注预先获取的互联网文本数据中的噪声数据和非噪声数据，得到用于模型训练的噪声二分类数据集；

将所述噪声二分类数据集输入预设的FastText文本识别模型，得到训练好的噪声检测模块；

所述噪声过滤模块基于BERT模型建立；

所述当检测到所述互联网文本信息包含噪声时，将所述互联网文本信息输入所述噪声过滤模块，根据所述互联网文本信息中文本对象间的语义相似度值进行过滤，输出不包含噪声的互联网文本信息的步骤包括：

当检测到所述互联网文本信息包含噪声时，获取所述互联网文本信息中的标题文本和正文文本，将所述正文文本按照预设的规则拆分为正文段落文本；

将所述标题文本和所述正文段落文本依次输入所述噪声过滤模块，计算所述标题文本和所述正文段落文本间的语义相似度值，当所述正文段落文本和所述标题文本间的语义相似度值低于预设值时，将所述正文段落文本标记为噪声；

按照所述正文文本中所述正文段落文本的先后顺序，拼接未标记为噪声的所述正文段落文本，输出不包含噪声的互联网文本信息。

2.根据权利要求1所述的方法，其特征在于，将所述标题文本和所述正文段落文本依次输入所述噪声过滤模块，计算所述标题文本和所述正文段落文本间的语义相似度值，当所述正文段落文本和所述标题文本间的语义相似度值低于预设值时，将所述正文段落文本标记为噪声的步骤包括：

将所述标题文本和所述正文段落文本输入所述噪声过滤模块，根据预设的余弦相似度算法计算所述标题文本和所述正文段落文本间的语义相似度值；

当所述正文段落文本和所述标题文本间的语义相似度值低于预设值时，将所述正文段落文本标记为噪声。

3.根据权利要求1所述的方法，其特征在于，所述自动分类模块基于卷积神经网络，包括输入层、词嵌入层、卷积层、最大池化层、全连接层和输出层；

构建所述自动分类模块的方式包括：

使用反向传播方法确定所述自动分类模块的卷积层参数。

4.根据权利要求3所述的方法，所述根据所述不包含噪声的互联网文本信息生成样本集，使用所述样本集训练和测试所述自动分类模块，得到训练好的噪声过滤和自动分类模型的步骤包括：

根据所述不包含噪声的互联网文本信息生成样本集，将所述样本集通过所述输入层输入所述自动分类模块；

由所述词嵌入层、所述卷积层和所述最大池化层提取文本特征向量，由所述全连接层通过所述输出层输出互联网文本信息分类结果；

根据所述自动分类模块输出的文本自动分类结果和对应的文本分类概率值，得到训练好的噪声过滤和自动分类模型。