[发明专利]一种并行计算场景下分布式数据集合计算方法和系统

说明书

本发明公开了一种并行计算场景下分布式数据集合计算方法和系统，尤其是一种并行计算场景下分布式数据集合计算系统，其特征在于，包括信息收集模块、信息分类模块、数据处理模块和数据存储模块，所述信息收集模块、信息分类模块、数据处理模块和数据存储模块依次连接，所述信息收集模块包括信息抓取单元，所述信息分类模块包括数据解析单元、数据过滤单元、数据去重单元和数据分类单元，数据解析单元、数据过滤单元、数据去重单元和数据分类单元依次连接。本发明能够分别对不同类型的互联网网站进行处理，能够对互联网上的数据做到全面、高效、多样化的抓取，同时，能够通过分布式数据计算效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种并行计算场景下分布式数据集合计算方法和系统。

背景技术

当前是一个互联网的时代，互联网深入到了人们的日常生活中，日常消费、生活习惯、个人爱好都在互联网中留下了各种痕迹和数据，这样就造成互联网上留下了海量的待发掘的消费数据，对这些数据的分析和挖掘，获取其中的关键业务信息，是至关重要的。

现有的分布式数据分析方法中，通过默认以文件或分布式文件系统中的数据块作为分布式数据计算分析的最小执行单元，各个单元分别由一个计算单元计算，待所有计算单元数据计算完成后，对计算结果进行汇总，至此整个分布式计算完成。然而，现有的分布式数据计算效率较低，数据计算较为繁琐。

发明内容

基于背景技术存在的技术问题，本发明提出了一种并行计算场景下分布式数据集合计算方法和系统。

本发明提出的一种并行计算场景下分布式数据集合计算系统，包括信息收集模块、信息分类模块、数据处理模块和数据存储模块，所述信息收集模块、信息分类模块、数据处理模块和数据存储模块依次连接，所述信息收集模块包括信息抓取单元，所述信息分类模块包括数据解析单元、数据过滤单元、数据去重单元和数据分类单元，数据解析单元、数据过滤单元、数据去重单元和数据分类单元依次连接，所述数据处理模块包括中心调度单元、分布式计算单元和汇总单元，所述中心调度单元、分布式计算单元和汇总单元依次连接。

优选的，所述信息抓取单元用于收集互联网网站信息，对互联网网站信息进行整理，得到互联网网站的特性信息数据，并将特性信息数据传输至信息分类模块。

优选的，所述数据解析单元接收特征信息数据，并对特征信息数据进行数据解析，将特征信息数据解析成常用数据信息，并将解析后的数据信息传输至数据过滤单元。

优选的，所述数据过滤单元将对常用数据信息进行筛分，剔除无用数据信息，并将有用数据信息传输至数据去重单元。

优选的，所述数据去重单元将有用数据信息中重复数据信息进行剔除，得到精简数据信息，并将精简数据信息传输至数据分类单元。

优选的，所述数据分类单元用于将精简数据信息根据不同数据类型进行分类，并将分类后的数据信息传输至数据处理模块。

优选的，所述中心调度单元用于对数据信息进行分析和分配，分析后的数据信息进行数据的分配，并将分配的数据传输至分布式计算单元。

优选的，所述分布式计算单元用于对分配的数据信息进行计算处理，计算处理后的数据传输至汇总单元进行汇总处理，汇总后的数据传输至数据存储模块进行存储。

一种并行计算场景下分布式数据集合计算方法，包括如下步骤：

S1信息收集：信息收集模块包括信息抓取单元，信息抓取单元用于收集互联网网站信息，对互联网网站信息进行整理，得到互联网网站的特性信息数据，并将特性信息数据传输至信息分类模块；