[发明专利]一种大数据统计方法和装置

说明书

本发明实施例提供了一种大数据统计方法和装置，所述方法包括：从分布式文件系统HDFS中获取数据集，然后根据预设的配置文件的分类信息，对数据集的数据进行分类，得到多个类型的数据子集，接着根据预设的配置文件的过滤信息，分别对多个类型的数据子集进行过滤，得到多个过滤后的数据子集，最后对多个过滤后的数据子集进行数据统计。本发明实施例通过预设的配置文件自动对大数据进行分类、过滤和统计，实现不同的业务需求，无需开发人员重复编写类似的代码，从而简化了开发流程，缩短了开发周期、提高了开发效率。

技术领域

本发明涉及大数据技术领域，特别是涉及一种大数据统计方法和一种大数据统计装置。

背景技术

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，通过大数据统计可以获得用户需要的信息，例如了解消费者的喜好和需求，从而形成精准营销，大大提高生产能力，为企业带来更多的商业价值。

通常地，不同的业务需求的开发，往往都会重复出现类似的代码，开发人员实现不同的业务需求，需要重复编写多次类似的代码，导致开发流程繁琐、开发周期长、开发效率低。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种大数据统计方法和相应的一种大数据统计装置。

为了解决上述问题，本发明实施例公开了一种大数据统计方法，应用于大数据统计系统，所述大数据统计系统存储有预设的配置文件，所述大数据统计系统与分布式文件系统HDFS通信连接，所述方法包括：

从所述分布式文件系统HDFS中获取数据集；

根据所述预设的配置文件的分类信息，对所述数据集的数据进行分类，得到多个类型的数据子集；

根据所述预设的配置文件的过滤信息，分别对所述多个类型的数据子集进行过滤，得到多个过滤后的数据子集；

对所述多个过滤后的数据子集进行数据统计。

可选地，所述从所述分布式文件系统HDFS中获取数据集，包括：

分别从所述分布式文件系统HDFS的不同路径上获取不同类型的多个数据分片；其中，所述数据分片包括多个数据。

可选地，所述根据所述预设的配置文件的分类信息，对所述数据集的数据进行分类，得到多个类型的数据子集，包括：

根据所述预设的配置文件的分类信息，从所述不同路径的不同类型的多个数据分片中确定同类型的多个数据分片；

分别将所述同类型的多个数据分片进行集合，得到多个类型的数据子集。

可选地，所述过滤信息包括预设要求，所述根据所述预设的配置文件的过滤信息，分别对所述多个类型的数据子集进行过滤，得到多个过滤后的数据子集，包括：

根据所述预设的配置文件的过滤信息，分别确定所述多个类型的数据子集是否存在有不符合所述预设要求的数据；其中，所述不符合所述预设要求的数据包括不完整的数据、错误的数据和重复的数据；

若是，则对所述多个类型的数据子集的所述不完整的数据、错误的数据和重复的数据进行过滤，得到多个过滤后的数据子集。

可选地，所述方法还包括：

根据所述预设的配置文件的转换信息，分别对所述多个过滤后的数据子集中的数据的字段类型、字段码值进行转换，得到多个转换后的数据子集。

可选地，所述对所述多个过滤后的数据子集进行数据统计，包括：

采用所述转换后的数据子集，分别生成对应的关系表；所述关系表包括数据子集对应的类型和数据子集中的数据；