[发明专利]一种基于机器学习的网页有害信息识别方法

说明书

本发明公开了一种基于机器学习的网页有害信息识别方法，包括以下步骤：S1：使用网络爬虫爬取已知分类网站机器学习训练所用的语料库；S2：预处理爬取的语料库，生成训练集和测试集；S3：进行机器学习算法的模型训练和模型验证；S4：输入待甄别网页，通过模型对文本进行分类，返回类别结果和准确率。本发明基于机器学习、训练模型、文本分类技术，对抓取的网页进行分类识别，根据网页识别结果的所属类别，达到甄别网页是否存在有害信息、进一步判断网站是否存在有害信息的目的。

技术领域

本发明涉及网页内容识别技术领域，特别是涉及一种基于机器学习的网页有害信息识别方法。

背景技术

随着我国互联网基础设施建设的不断开展，网站应用服务种类日益增多，据统计，截至2017年底，我国网站数量达到了526.06万个，网页更是不计其数。网页和应用服务成了人们日常获取新闻、资讯的重要途径。由于网络的空间特殊性，网站所保存内容在访问前不易为人所知，所以在网络服务器上存在的这些亿计的网页中不乏色情、赌博、暴力、恐怖等有害内容，而且这些有害内容形式、关键字时常变换，如果任由有害内容泛滥、传播成灾，势必造成恶劣的社会影响。所以如何有效的对网页内容进行有害性甄别，还要能够满足海量数据处理的性能要求成了目前亟需解决的问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于机器学习的网页有害信息识别方法，达到通过爬虫获取语料、训练识别模型，进而判别待甄别网页内容是否含有有害内容的目的。

本发明的目的是通过以下技术方案来实现的：一种基于机器学习的网页有害信息识别方法，包括以下步骤：

S1：使用网络爬虫爬取已知分类网站机器学习训练所用的语料库；

S2：预处理爬取的语料库，生成训练集和测试集；

S3：进行机器学习算法的模型训练和模型验证；

S4：输入待甄别网页，通过模型对文本进行分类，返回类别结果和准确率。

所述步骤S2包括以下子步骤：

S201：剔除html，提取文本信息；

S202：预设关键字集合，剔除低质量文本；

S203：生成训练集和测试集。

所述步骤S2还包括以下子步骤：

S101：采用去停用词方法，去除对训练无用以及出现次数较多的词；

S102：采用预置类别关键字方式，过滤语料中的弱相关语料。

所述步骤S3中采用稀疏矩阵存储语料特征进行模型训练和模型验证。

本发明的有益效果是：

1）本发明基于机器学习的算法为计算提供了有力的能力支撑；通过爬虫对已知有害信息爬取，获取直接的训练素材，保证了素材的真实性，有效性；通过对模型的训练为甄别有害信息提供了技术手段，通过特征匹配，使未训练文本也能被发现，利用基于机器的分类算法，对文本分类，得出是否有害的结果。

2）本发明基于机器学习、训练模型、文本分类技术，对抓取的网页进行分类识别，根据网页识别结果的所属类别，达到甄别网页是否存在有害信息、进一步判断网站是否存在有害信息的目的。

3）利用基于机器学习的文本分类的算法，可以快速的对待识别网页内容进行分类，达到即对有害内容进行识别，又具有高性能和高拓展性的效果。

附图说明

图1为本发明的步骤流程图；

图2为本发明网页甄别的流程图。

具体实施方式