[发明专利]一种基于人工智能的大数据采集存储系统及方法

说明书

本发明属于大数据技术领域，公开了一种基于人工智能的大数据采集存储系统及方法，包括以下步骤：利用所能大数据管理平台获取指定公开全网站的网络公开资源，利用大数据抓取网络信息，具备分布式抓取，意外断开后智能抓取，反抓取，智能判断时间，智能防重，定期抓取及持续抓取等方法，精准完整得获取网络信息，最后把抓取的数据都分布式存储到hbase、MongoDB、elasticsearch中以此解决千万级的数据处理，大大提升了大数据采集效率以及减少大数据采集过程中技术人员的工作量。

技术领域

本发明属于大数据技术领域，公开了一种基于人工智能的大数据采集存储系统及方法。

背景技术

随着信息化时代的到来,云计算技术、数字技术、互联网技术等获得了进一步的发展和应用,信息产业的竞争力也在不断的加剧，对大企业而言，大数据的兴起部分是因为计算能力可用更低的成本获得，且各类系统如今已能够执行多任务处理。其次，内存的成本也在直线下降，企业可以在内存中处理比以往更多的数据，还有就是把计算机聚合成服务器集群越来越简单，把那些具有潜在价值,可以给商业带来巨大利润,但是需要经过复杂处理的数据信息，因此本申请提出所能人工智能大数据采集存储系统及方法，充分利用数据信息进行分析及利用。

发明内容

针对上述的传统管理平台缺陷，本发明的目的是提供一种基于人工智能的大数据采集存储系统及方法，其包括大数据管理平台、大数据抓取及方法、大数据存储及方法。

大数据管理平台对大数据抓取和大数据存储进行数据管理及方法管理；

所述的大数据抓取用于公开全网站抓取，分别通过百度、搜狗、360、微博、微信及其他公开全网站的公开数据进行抓取；

进一步的，所述大数据存储基于大数据抓取的数据进行数据存储，用分布式进行数据存储；

本发明提供一种大数据抓取方法，包括步骤如下：

①分布式抓取：利用分布式原理搭建分布式方法进行分布式智能抓取；

②意外断开后接着抓取：因特殊原因导致系统意外断开，当重新连接后能有效的接着上次抓取的数据继续抓取剩余的信息，防止特殊情况带来的损失；

③能反抓取：具有了自我管理和学习进步的能力，能够针对现有的知识进行快速的学习并且进行后续改进防止别人进行抓取；

④时间判断：每天抓取的内容都不一样，通过时间判断能有效的抓取当前的数据，过滤掉昨天以前的数据；

⑤防止重复抓取：各个公开全网站及各个页面的数据有可能是完全一样的，为了避免重复数据的的出现，需对数据标题及内容进行分析再抓取，避免出现重复抓取，减少资源消耗；

⑥关键词抓取：通过关键词进行数据抓取，能精准有效的抓取网络公开数据；

⑦定期和持续抓取：定期抓取就是在一定的时间内进行数据抓取，过了这段时间将不再进行抓取，持续抓取将一直保持数据抓取；

⑧记忆采集点：人工智能记忆法，只要采集过的公开全网站，就像人的记忆一样能智能识别并且准确的进行采集所需数据，智能过滤没用的数据，只保留图文信息，在采集过程中因意外导致停止工作时，能有效的记住采集进度，当重新工作时能接着完成未完成的工作。

⑨自动分析归类：自动分析过滤广告等没用的信息，存储所需的图文信息；自动分析生产采集规则，智能抓取各个公开全网站的图文信息；自动分析纠正，能够智能学习人工纠错的内容，使准确率越来越精准。

本发明提供一种数据存储的方法，包括步骤如下：

①利用分布式文件系统：hdfs为管理大数据资源池和支撑相关大数据分析应用提供了一个具有高可靠性的工具，为分布式数据库做好铺垫；