[发明专利]一种基于机器学习的网页有害信息识别方法在审
| 申请号： | 201811302974.X | 申请日： | 2018-11-02 |
| 公开（公告）号： | CN109710825A | 公开（公告）日： | 2019-05-03 |
| 发明（设计）人： | 张家亮;卢江波;张明亮;贾宇 | 申请（专利权）人： | 成都三零凯天通信实业有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F16/35;G06N20/00 |
| 代理公司： | 成都金英专利代理事务所(普通合伙) 51218 | 代理人： | 袁英 |
| 地址： | 610041 四川省成都市*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 网页 基于机器 信息识别 语料库 网站 预处理 抓取 机器学习算法 分类识别 机器学习 类别结果 模型训练 模型验证 网络爬虫 网页识别 文本分类 训练模型 测试集 训练集 分类 准确率 学习 文本 返回 | ||
【权利要求书】：
1.一种基于机器学习的网页有害信息识别方法，其特征在于：包括以下步骤：
S1：使用网络爬虫爬取已知分类网站机器学习训练所用的语料库；
S2：预处理爬取的语料库，生成训练集和测试集；
S3：进行机器学习算法的模型训练和模型验证；
S4：输入待甄别网页，通过模型对文本进行分类，返回类别结果和准确率。
2.根据权利要求1所述的一种基于机器学习的网页有害信息识别方法，其特征在于：所述步骤S2包括以下子步骤：
S201：剔除html，提取文本信息；
S202：预设关键字集合，剔除低质量文本；
S203：生成训练集和测试集。
3.根据权利要求1或2所述的一种基于机器学习的网页有害信息识别方法，其特征在于：所述步骤S2还包括以下子步骤：
S101：采用去停用词方法，去除对训练无用以及出现次数较多的词；
S102：采用预置类别关键字方式，过滤语料中的弱相关语料。
4.根据权利要求1所述的一种基于机器学习的网页有害信息识别方法，其特征在于：所述步骤S3中采用稀疏矩阵存储语料特征进行模型训练和模型验证。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于成都三零凯天通信实业有限公司，未经成都三零凯天通信实业有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201811302974.X/1.html，转载请声明来源钻瓜专利网。
- 上一篇：一种工程咨询管理系统
- 下一篇：一种互联网信息人工智能采集方法及其系统
