[发明专利]一种用于互联网文本信息的噪声过滤和自动分类方法

说明书

本申请涉及一种用于互联网文本信息的噪声过滤和自动分类方法。所述方法包括：构建互联网文本信息的噪声过滤和自动分类模型，包括噪声检测模块、噪声过滤模块和自动分类模块。将获取到的互联网文本信息输入噪声检测模块，检测到包含噪声时将其输入噪声过滤模块，根据文本对象间的语义相似度值进行过滤，输出不包含噪声的互联网文本信息。使用不包含噪声的互联网文本信息训练和测试自动分类模块，使用训练好的模型获得互联网文本信息分类结果。采用本方法能同时实现文本噪声过滤和分类，避免噪声检测和过滤过分依赖特征选取的问题，及其对训练数据集质量要求较高的问题，还能消除噪声信息对文本分类结果的影响，提高文本分类结果的准确性。

技术领域

本申请涉及互联网文本信息处理技术领域，特别是涉及一种用于互联网文本信息的噪声过滤和自动分类方法。

背景技术

互联网文本信息作为互联网信息传递的一种方式，在信息共享中起着举足轻重的作用。然而互联网文本中通常包含大量与主题无关的内容，如许多网页新闻中都会夹杂广告、插图简介、网站推荐内容等，这些与主题无关的内容被称为噪声信息。噪声信息会对互联网文本内容的分类产生干扰，因此如何过滤噪声并提纯互联网文本内容以提高这些文本的分类准确率具有重要意义。

现有方法大多将文本噪声识别(或噪声过滤)和文本分类作为两个独立的任务进行分别的建模和处理。目前的文本噪声识别与过滤方法主要分为两大类：第一类是结合词袋模型和传统机器学习进行噪声识别与过滤的方法，这类方法过分依赖特征的选取，且对噪声识别的准确率不高；第二类是基于深度学习方法来实现噪声识别与过滤，这类方法的识别准确率比较高，但是对人工标注数据集的质量要求较高，且这类方法大多将待分类的文本内容作为语料直接用于分类模型的训练和测试，然而文本语料中包含噪声信息会干扰文本分类的结果。

发明内容

基于此，有必要针对上述技术问题，提供能够识别并过滤噪声文本信息并能够提高文本分类准确度的一种用于互联网文本信息的噪声过滤和自动分类方法。

一种用于互联网文本信息的噪声过滤和自动分类方法，所述方法包括：

构建用于互联网文本信息的噪声过滤和自动分类模型。噪声过滤和自动分类模型包括预设的噪声检测模块，预设的噪声过滤模块和预设的自动分类模块。噪声检测模块基于FastText模型建立。

将预先获取的互联网文本信息输入噪声检测模块。

当检测到互联网文本信息包含噪声时，将互联网文本信息输入噪声过滤模块，根据互联网文本信息中文本对象间的语义相似度值进行过滤，得到不包含噪声的互联网文本信息。

根据不包含噪声的互联网文本信息生成样本集，使用样本集训练和测试自动分类模块，得到训练好的噪声过滤和自动分类模型。

将预先获取的互联网文本信息输入训练好的噪声过滤和自动分类模型，得到互联网文本分类结果。

其中一个实施例中，构建所述噪声检测模块的方式包括：

根据预设的规则标注预先获取的互联网文本数据中的噪声数据和非噪声数据，得到用于模型训练的噪声二分类数据集。

将噪声二分类数据集输入预设的FastText文本识别模型，得到训练好的噪声检测模块。

其中一个实施例中，噪声过滤模块基于BERT模型建立，当检测到互联网文本信息包含噪声时，将互联网文本信息输入噪声过滤模块，根据互联网文本信息中文本对象间的语义相似度值进行过滤，输出不包含噪声的互联网文本信息的步骤包括：

当检测到互联网文本信息包含噪声时，获取互联网文本信息中的标题文本和正文文本，将正文文本按照预设的规则拆分为正文段落文本。

将标题文本和正文段落文本依次输入噪声过滤模块，计算标题文本和正文段落文本间的语义相似度值，当正文段落文本和标题文本间的语义相似度值低于预设值时，将该正文段落文本标记为噪声。