[发明专利]一种互联网信息人工智能采集方法及其系统

权利要求书

1.一种基于互联网信息人工智能采集方法，其特征在于，包括以下步骤：

建立网页采集模型，建立基于爬虫或者搜索引擎检索获取网络数据的模型；

获取网络信息，利用网页采集模型对大数据平台的文章、新闻、帖子进行数据采集；

数据处理，对采集的数据进行数据处理，包括图片处理，文字翻译，去噪，去重；

数据分析，将处理后的数据按结构分割成数据单元，将数据单元进行自由组合形成数据单元组，再将数据单元组进行语义匹配，输出匹配度指数，提取匹配度指数最高的数据单元组；

网页采集模型再学习，将数据分析后的结果存储并循环交替给深度神经网络，作为网页采集模型的学习样本，并且阶段性的进行阶段审阅迭代修改模型；

结果输出，将数据分析后的结果分模块展现在人机交互界面中。

2.根据权利要求1所述的互联网信息人工智能采集方法，其特征在于：所述深度神经网络通过获取多组内容混排特征数据，将所述特征数据输入到深度神经网络模型中进行训练，每组数据通过网络输出预测结果并以训练数据更新深度神经网络模型参数，使用更新后的深度神经网络进行下一组训练，直到深度神经网络模型参数收敛。

3.根据权利要求2所述的互联网信息人工智能采集方法，其特征在于：所述特征数据包括网站类型、URL、文章标题、文章来源、文章发表时间、文章转载量、文章点击数、文章评论数、文章摘要、文章作者。

4.根据权利要求1所述的互联网信息人工智能采集方法，其特征在于：所述图片处理通过OCR图片识别模块进行图片处理。

5.一种基于网页采集模型的互联网信息人工智能采集系统，其特征在于，包括：网页采集模块，用于采集互联网或大数据平台的数据，提取所需文章、新闻、帖子或者微博数据，并通过深度神经网络进行再学习；

数据处理分析模块，用于分析网页采集模型采集的数据，包括图片处理，文字翻译，关键字提取，去噪，去重，匹配度指数与相似度分析；

数据存储模块，用于存储网页采集模型采集的数据以及数据分析模块的数据；

人机交互模块，用于将分析处理后的数据分模块展现在人机交互界面中，同时可通过人机交互界面修改所需采集的内容。

6.根据权利要求5所述的互联网信息人工智能采集系统，其特征在于：所述图片处理通过OCR图片识别模块进行图片处理。

7.根据权利要求5所述的互联网信息人工智能采集系统，其特征在于：所述人机交互模块分为信息模块、报告模块、过滤模块、任务模块、统计模块。