[发明专利]一种基于信息监测的关键词发现方法、系统和电子设备

说明书

本申请公开了一种基于信息监测的关键词发现方法、系统和电子设备，该方法包括：监测调度设置监测任务，设置定时任务以及相关任务参数；监测目标获取是到达任务监测时点后，获取监测词汇在任务设定的搜索引擎的前N条搜索结果，根据结果域名去重；监测内容采集是利用爬虫获取指定域名下的网站，以及其外部链接的网站的内容；内容分析处理是对网站内容进行分词，并建立词集；使用关键词推荐算法对词集中的词汇进行处理，得到推荐结果；人工审核将推荐结果展示给审核人员。本发明能够自动化生成关键词清单，并根据目前不良信息的最新发展趋势发现新的关键词，替代原先需要人工采集和输入关键词的方法，有效提升网站内容监测的效率及准确性。

技术领域

涉及自信息识别技术领域，具体涉及一种基于信息监测的关键词发现方法、 系统和电子设备。

背景技术

虚拟的网络世界与现实世界是对等的，现实世界中有美与丑、善与恶， 网络世界里同样也有美与丑、善与恶。在互联网刚刚兴起的年代，人们上网 主要为了查询资料和信息，彼时不良信息还非常有限。然而，随着互联网的 不断发展，人们开始在网络上追求娱乐、寻找商机、阅读新闻，此时不良信 息开始逐渐扩散。近几年，不良信息甚至发展成为一种产业，并开始从单纯 的“知识型”信息向“谋利型”转变，而且手段多样、形式复杂，其中不乏 很多违反法律、违反道德的不良信息，如何快速从数量庞大的众多网站中查 找出含有不良信息的，是网络信息安全的主要研究方向之一。

《中华人民共和国网络安全法》相关规定，网络运营者应当对用户发布 的信息进行管理，发现其存在法律法规所禁止的信息时，应当停止传输并消 除该信息。目前，各通讯运营商通过互联网网站安全监测平台等实现对访问 网站的IP、端口和内容的监测分析来防止不良信息扩散的方法，仍然存在以 下不足：

1)用于监测网站内容的关键词清单仍需用户手动采集输入，工作效率 低，需要消耗大量人力资源。而且人工审核还存在误判断和误操作的风险；

2)关键词的涉猎范围有限，且无法根据当前不良信息的发展趋势及时 更新关键词清单，信息量不足，导致系统检测准确率不高。

发明内容

本发明所提出的一种基于信息监测的关键词发现方法、系统和电子设备， 该方法应用于通讯运营商的互联网网站安全监测平台，实现对访问网站的IP、 端口和内容的监测分析。该方法能够自动化生成关键词清单，并根据目前不 良信息的最新发展趋势发现新的关键词，替代原先需要人工采集和输入关键 词的方法，有效提升网站内容监测的效率及准确性。

本申请是通过如下技术方案实现的：

一种基于信息监测的关键词发现方法，所述关键词发现方法包括如下步 骤：

步骤S101、监测计划调度模块将监测词汇导入给监测目标获取模块使用；

步骤S102、所述监测目标获取模块通过监测计划中设定的搜索引擎，用 监测词汇作为搜索引擎的搜索词汇进行搜索，并将搜索结果交给所述监测内 容采集模块进行下一步的处理；

步骤S103、所述监测内容采集模块对域名下的网站使用定向爬虫获取网 站的内容，将通过所述爬取所获得的所述网页的正文发送给所述建立词集模 块进行处理；

步骤S104、所述建立词集模块对所述网页的正文进行处理，将生成的词 库发送给关键词推荐管理模块处理；

步骤S105、所述关键词推荐管理模块使用关键词推荐算法对所述词库中 的词语进行训练，求解相似度并获得关键词因子，将所述关键词因子进行排 列组合，并把排列组合后的关键词因子发送至所述人工审计模块；

步骤S106、所述人工审计模块将所述排列组合后的关键词因子，交给审 核人员进行人工审核，并根据人工审核结果，将关键词因子添加至关键词策 略模块和/或关键词知识库中。