[发明专利]一种并行计算场景下分布式数据集合计算方法和系统

权利要求书

1.一种并行计算场景下分布式数据集合计算系统，其特征在于，包括信息收集模块、信息分类模块、数据处理模块和数据存储模块，所述信息收集模块、信息分类模块、数据处理模块和数据存储模块依次连接，所述信息收集模块包括信息抓取单元，所述信息分类模块包括数据解析单元、数据过滤单元、数据去重单元和数据分类单元，数据解析单元、数据过滤单元、数据去重单元和数据分类单元依次连接，所述数据处理模块包括中心调度单元、分布式计算单元和汇总单元，所述中心调度单元、分布式计算单元和汇总单元依次连接。

2.根据权利要求1所述的一种并行计算场景下分布式数据集合计算系统，其特征在于，所述信息抓取单元用于收集互联网网站信息，对互联网网站信息进行整理，得到互联网网站的特性信息数据，并将特性信息数据传输至信息分类模块。

3.根据权利要求1所述的一种并行计算场景下分布式数据集合计算系统，其特征在于，所述数据解析单元接收特征信息数据，并对特征信息数据进行数据解析，将特征信息数据解析成常用数据信息，并将解析后的数据信息传输至数据过滤单元。

4.根据权利要求1所述的一种并行计算场景下分布式数据集合计算系统，其特征在于，所述数据过滤单元将对常用数据信息进行筛分，剔除无用数据信息，并将有用数据信息传输至数据去重单元。

5.根据权利要求1所述的一种并行计算场景下分布式数据集合计算系统，其特征在于，所述数据去重单元将有用数据信息中重复数据信息进行剔除，得到精简数据信息，并将精简数据信息传输至数据分类单元。

6.根据权利要求1所述的一种并行计算场景下分布式数据集合计算系统，其特征在于，所述数据分类单元用于将精简数据信息根据不同数据类型进行分类，并将分类后的数据信息传输至数据处理模块。

7.根据权利要求1所述的一种并行计算场景下分布式数据集合计算系统，其特征在于，所述中心调度单元用于对数据信息进行分析和分配，分析后的数据信息进行数据的分配，并将分配的数据传输至分布式计算单元。

8.根据权利要求1所述的一种并行计算场景下分布式数据集合计算系统，其特征在于，所述分布式计算单元用于对分配的数据信息进行计算处理，计算处理后的数据传输至汇总单元进行汇总处理，汇总后的数据传输至数据存储模块进行存储。

9.一种并行计算场景下分布式数据集合计算方法，其特征在于，包括如下步骤：

S1信息收集：信息收集模块包括信息抓取单元，信息抓取单元用于收集互联网网站信息，对互联网网站信息进行整理，得到互联网网站的特性信息数据，并将特性信息数据传输至信息分类模块；

S2信息分类：信息分类模块包括数据解析单元、数据过滤单元、数据去重单元和数据分类单元，数据解析单元、数据过滤单元、数据去重单元和数据分类单元依次连接，数据解析单元接收特征信息数据，并对特征信息数据进行数据解析，将特征信息数据解析成常用数据信息，并将解析后的数据信息传输至数据过滤单元，数据过滤单元将对常用数据信息进行筛分，剔除无用数据信息，并将有用数据信息传输至数据去重单元，数据去重单元将有用数据信息中重复数据信息进行剔除，得到精简数据信息，并将精简数据信息传输至数据分类单元，数据分类单元用于将精简数据信息根据不同数据类型进行分类，并将分类后的数据信息传输至数据处理模块；

S3数据处理：数据处理模块包括中心调度单元、分布式计算单元和汇总单元，所述中心调度单元、分布式计算单元和汇总单元依次连接，中心调度单元用于对数据信息进行分析和分配，分析后的数据信息进行数据的分配，并将分配的数据传输至分布式计算单元，分布式计算单元用于对分配的数据信息进行计算处理，计算处理后的数据传输至汇总单元进行汇总处理；

S4数据存储：将汇总后的数据传输至数据存储模块进行存储。