[发明专利]一种互联网信息人工智能采集方法及其系统

说明书

本发明公开了一种互联网信息人工智能采集方法，包括以下步骤：建立网页采集模型、获取网络信息、数据分析、数据处理、结果输出以及网页采集模型再学习；采集方法通过网页采集模型对互联网数据进行检索分析，然后结合人机交互显示，通过深层神经网络的特征模式学习，利用深层神经网络对解析后的数据与特征数据做比对，更新检索和分析方式，每进行一次学习，网页采集模型都会提高数据的检索精准度，经过一定时间的学习能够达到人眼与人脑的配合水平；还提供了一种基于网页采集模型的互联网信息人工智能采集系统，包括网页采集模型模块、数据分析处理模块、数据存储模块、人机交互模块。

技术领域

本发明涉及网络信息采集技术领域，特别涉及一种通过网页采集模型来实现的互联网信息采集的方法以及系统。

背景技术

随着互联网的高速发展以及大数据平台的出现，网络信息的庞大数量难以形容，而从网络数据中搜索和查询想要的数据更是麻烦，现有的搜索模式一般都是通过搜索搜索引擎或者专业的数据库中检索，但由于数据的更新速度快，每次都需要重新检索，重新排查，不仅浪费时间，而且效率低下。

另外，对于一些数据采集系统，一般都是通过不断的检索不断的数据分析和去噪才能得出所需要的数据，每次重新检索都需要将之前的工作重复，非常的浪费资源。

发明内容

为了解决现有的互联网数据采集繁琐，浪费资源的问题，本发明提供一种能够快速高效的人工智能采集方法和系统。

为了实现上述目的，本发明提供的技术方案是：一种互联网信息人工智能采集方法，包括以下步骤：

建立网页采集模型，建立基于爬虫或者搜索引擎检索获取网络数据的模型；

获取网络信息，利用网页采集模型对大数据平台的文章、新闻、帖子进行数据采集；

数据处理，对采集的数据进行数据处理，包括图片处理，文字翻译，去噪，去重；

数据分析，将处理后的数据按结构分割成数据单元，将数据单元进行自由组合形成数据单元组，再将数据单元组进行语义匹配，输出匹配度指数，提取匹配度指数最高的数据单元组；

网页采集模型再学习，将数据分析后的结果存储并循环交替给深度神经网络，作为网页采集模型的学习样本，并且阶段性的进行阶段审阅迭代修改模型；

结果输出，将数据分析后的结果分模块展现在人机交互界面中。

在上述技术方案中，所述深度神经网络通过获取多组内容混排特征数据，将所述特征数据输入到深度神经网络模型中进行训练，每组数据通过网络输出预测结果并以训练数据更新深度神经网络模型参数，使用更新后的深度神经网络进行下一组训练，直到深度神经网络模型参数收敛。

在上述技术方案中，进一步的，所述特征数据包括网站类型、URL、文章标题、文章来源、文章发表时间、文章转载量、文章点击数、文章评论数、文章摘要、文章作者。

作为优选的一种技术方案，所述图片处理通过OCR图片识别模块进行图片处理。

另外，本发明提供一种互联网信息人工智能采集系统，包括：网页采集模块，用于采集互联网或大数据平台的数据，提取所需文章、新闻、帖子或者微博数据，并通过深度神经网络进行再学习；

数据处理分析模块，用于分析网页采集模型采集的数据，包括图片处理，文字翻译，关键字提取，去噪，去重，匹配度指数与相似度分析；

数据存储模块，用于存储网页采集模型采集的数据以及数据分析模块的数据；

人机交互模块，用于将分析处理后的数据分模块展现在人机交互界面中，同时可通过人机交互界面修改所需采集的内容。

在该系统中，优选的，所述图片处理通过OCR图片识别模块进行图片处理。