[发明专利]一种基于WEB技术的数据检索和采集系统

说明书

本发明公开了一种基于WEB技术的数据检索和采集系统，数据检索技术领域，包括数据检索模块、采集模块、服务器和储存模块；所述数据检索模块包括搜索单元、广告验证单元和显示单元，所述搜索单元用于根据关键字进行搜索内容，并将检索到内容的网络链接发送到广告验证单元进行广告验证；所述广告验证单元用于对搜索单元检索到的内容进行广告验证，所述显示单元用于显示广告验证单元发送的网络链接内容；所述采集模块包括信息采集单元和自动获取单元；通过搜索单元的设置，对关键字进行描述，达到对检索范围进行限定，避免因为有些想法口述比较容易进行撰写就特别困难的问题，最大程度的保障检索的结果是最符合用户的检索目的的。

技术领域

本发明属于数据检索技术领域；具体是一种基于WEB技术的数据检索和采集系统。

背景技术

目前，大部分的用户在使用互联网进行检索时，都会发现检索的结果与自己真正想要检索的内容往往有很大的区别，发现不是自己想要的内容，费时费力，有部分原因就是仅仅通过关键字检索具有很大的局限性，因为包含关键字的内容有很多，因此检索结果就有很多，但是，门户网站会根据竞价排名的方式对内容进行排序，导致用户想要的内容不知道被排在什么位置了，导致检索效率低下；用户在使用互联网进行检索时，会发现检索结果中充斥着大量的广告内容，而且门户网站还会根据竞价排名的方式对内容进行排序，这就导致广告内容往往会排在检索结果的前列，增加检索的难度，而且广告中可能还会有病毒和流氓软件的下载，增加的检索的危险。

发明内容

本发明的目的在于提供一种基于WEB技术的数据检索和采集系统，解决检索效率低下的问题；通过搜索单元的设置，对关键字进行描述，达到对检索范围进行限定，避免因为有些想法口述比较容易进行撰写就特别困难的问题，最大程度的保障检索的结果是最符合用户的检索目的的，解决仅仅通过关键字检索具有很大的局限性的问题，解决门户网站会根据竞价排名的方式对内容进行排序，导致用户想要的内容不知道被排在什么位置了，导致检索效率低下的问题。

本发明的目的可以通过以下技术方案实现：

一种基于WEB技术的数据检索和采集系统，包括数据检索模块、采集模块、服务器和储存模块；所述数据检索模块包括搜索单元、广告验证单元和显示单元，所述搜索单元用于根据关键字进行搜索内容，并将检索到内容的网络链接发送到广告验证单元进行广告验证；所述广告验证单元用于对搜索单元检索到的内容进行广告验证，所述显示单元用于显示广告验证单元发送的网络链接内容；所述采集模块包括信息采集单元和自动获取单元；

搜索单元根据关键字进行内容搜索的方法包括：设置语音识别节点，用户在搜索栏中输入检索关键字，输入完关键字后，通过语音识别节点叙述对关键字的进一步描述，识别用户叙述的内容，建立检索模型，将关键字和用户叙述的内容标记为输入数据，将输入数据输入至检索模型获取输出结果并标记为检索式，根据检索式进行内容检索，设置增强学习单元，通过增强学习单元对使用检索模型的检索式进行检索的内容进行评价，并对检索模型进行再学习；获取根据检索式进行检索的记录数据，根据检索的记录数据设置评分表，当评分合格时，不进行操作，当评分不合格时，获取对应的记录数据，对检索式进行修改，将修改后的检索式和对应的输入数据整合为自学习数据，将自学习数据输入到检索模型中进行再学习。

进一步地，广告验证单元对搜索单元检索到的内容进行广告验证的方法包括：接收搜索单元发送的网络链接，隔开广告验证单元与任意模块的连接，对接收到的网络链接进行逐一打开，并对打开网络链接进行内容分析，判断对应的网络链接是否是广告内容，当判断网络链接是广告内容时，将对应的网络链接从收搜索单元发送的网络链接中删除；当判断网络链接不是广告内容时，不进行操作；当全部分析完成后，将剩余的网络链接发送到显示单元，对广告验证单元进行病毒查杀和格式化。