[发明专利]一种基于大数据的政策信息查询推送系统及方法

说明书

本发明公开了一种基于大数据的政策信息查询推送系统，采集模块与筛选模块相连，筛选模块与录入模块相连，录入模块通过存储模块与数据库相连，数据库内设置有调用模块，数据库通过联网模块与大数据平台相连，大数据平台还与展示模块及推送模块相连，该发明可以通过定时模块、索引模块和关键词抓取模块周期性的对输入关键词进行索引，实现及时更新政策信息的目的，保证查询及推送的政策信息为最新的，可以对索引结果进行相关性对比，避免出现个别词语相关而整篇文章不相关的情况，减少索引时间，减轻该系统的索引压力，可以通过源代码辨别网页中的图片、视频及文字并进行归类，可以快速有效的得到索引的政策信息并剔除掉无关的内容。

技术领域

本发明涉及基于大数据的政策信息查询推送系统及方法技术领域，具体为一种基于大数据的政策信息查询推送系统及方法。

背景技术

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

信息政策是一个国家为开发信息资源，发展信息产业，协调信息利用而采取的措施和战略。

目前基于大数据的政策信息查询系统大多是人工进行查询和筛选的，且政策信息更新后，也不能及时获得新的政策信息，因此，亟待一种改进的技术来解决现有技术中所存在的这一问题。

发明内容

本发明的目的在于提供一种基于大数据的政策信息查询推送系统及方法，可以通过定时模块、索引模块和关键词抓取模块周期性的对输入关键词进行索引，实现及时更新政策信息的目的，保证查询及推送的政策信息为最新的，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于大数据的政策信息查询推送系统，包括采集模块、筛选模块、录入模块、存储模块、数据库、调用模块、联网模块、大数据平台、展示模块、推送模块，所述采集模块与筛选模块相连，所述筛选模块与录入模块相连，所述录入模块通过存储模块与数据库相连，所述数据库内设置有调用模块，所述数据库通过联网模块与大数据平台相连，所述大数据平台还与展示模块及推送模块相连。

优选的，所述采集模块包括输入模块、索引模块、关键词抓取模块及定时模块，所述输入模块用于输入关键词，所述索引模块通过输入模块进行网络索引，所述关键词抓取模块通过输入模块所输的关键词及网络索引结果进行匹配，所述定时模块用于设定索引模块及关键词抓取模块的启动周期时间。

优选的，所述筛选模块包括相关性对比模块、重复度对比模块及代码判断模块，所述相关性对比模块用于关键词相关性对比，所述重复度对比模块用于对搜索结果进行重复度对比并过滤多余的重复的信息，所述代码判断模块用于判断网页代码并对图片、视频及文字进行归类筛选。

优选的，所述录入模块与存储模块用于将经过筛选后的网络搜索结果录入并存储至数据库内。

优选的，所述调用模块用于调用数据库内的数据并通过联网模块与大数据平台相连。

优选的，所述展示模块用于展示大数据平台内的政策信息。

优选的，所述推送模块用于推送大数据平台内的政策信息。

优选的，包括以下步骤：

步骤一：首选设定定时模块的时间T，随后通过输入模块输入相关的关键词，根据关键词抓取模块并通过索引模块在网络上对该关键词进行索引，得到搜索结果；

步骤二：通过相关性对比模块对搜索结构进行相关性对比，将高相关度的搜索结果筛选出来，并通过代码判断模块筛选出文字代码串中的文字字符、主文章段落中的图片、主文章段落中的视频及非主文章段落中的其他代码，再通过重复度对比模块对搜索结果中的所有的文字字符进行重复度对比，并将重复度高的搜索结果剔除；