[发明专利]一种基于生产线结构的数据处理方法和系统

权利要求书

1.一种基于生产线结构的数据处理方法，其特征在于，包括：

采集目标数据；所述目标数据包括网络数据和本地数据；

对采集的所述目标数据进行数据处理分析；所述数据处理分析至少包括数据存储、数据清洗和数据计算和数据抽取中的一项；

对处理分析后的目标数据进行展示。

2.根据权利要求1所述的方法，其特征在于，所述采集目标数据具体包括：

利用网络爬虫管理工具采集网络中分散的数据；

利用数据采集代理DCA采集智能仪表或数据采集模块中的所述本地数据；

利用数据批量导入的方式采集本地系统中存储的所述本地数据。

3.根据权利要求1所述的方法，其特征在于，所述数据存储具体包括：

将所述目标数据分为结构化数据和非结构化数据；

采用Hadoop大数据生态环境下搭建的HBase非关系型数据库存储所述结构化数据；

采用Hadoop大数据生态环境下的HDFS分布式文件存储系统对所述非结构化数据进行存储。

4.根据权利要求1所述的方法，其特征在于，所述数据清洗具体包括：

将清洗算子进行存储；所述清洗算子包括数据去重算法、数据去残算法、格式转换算法和同义词转换算法中的至少一种；

从存储后的清洗算子中选取至少一种所述清洗算子对采集的所述目标数据进行相应的数据清洗。

5.根据权利要求1所述的方法，其特征在于，所述数据计算具体包括：

对采集的所述网络数据进行关键字和摘要的提取；

将提取的所述关键字和所述摘要补充到所述网络数据，得到计算后的网络数据。

6.根据权利要求5所述的方法，其特征在于，所述数据计算具体包括：

汇集不同的聚类算法；

根据采集的所述本地数据的数据特征从汇聚的聚类算法中选取目标聚类算法；

利用选取的所述目标聚类算法对所述本地数据进行聚类，得到聚类后的数据。

7.根据权利要求6所述的方法，其特征在于，所述聚类算法包括k-means聚类算法、DBS聚类算法、层次聚类算法和概率聚类算法。

8.根据权利要求6所述的方法，其特征在于，所述数据抽取具体包括：

将采集的原始所述目标数据、所述计算后的网络数据和所述聚类后的数据一起存储到Hadoop大数据生态环境下搭建的关系型数据库。

9.一种根据权利要求1至8任一项所述的方法的基于生产线结构的数据处理系统，其特征在于，包括：

数据采集模块，用于采集目标数据；所述目标数据包括网络数据和本地数据；

数据处理模块，用于对采集的所述目标数据进行数据处理分析；所述数据处理模块至少包括数据存储单元、数据清洗单元、数据计算单元和数据抽取中的一种；

数据展示模块，用于对处理分析后的目标数据进行展示。

10.根据权利要求9所述的系统，其特征在于，所述数据采集模块具体包括：

利用网络爬虫管理工具采集网络中分散的数据；

利用数据采集代理DCA采集智能仪表或数据采集模块中的所述本地数据；

利用数据批量导入的方式采集本地系统存储的所述本地数据。