[发明专利]一种海量数据的处理方法及装置

说明书

技术领域

本发明涉及计算机技术领域，特别涉及一种海量数据的处理方法及装置。

背景技术

随着大型数据库的不断建立，大数据时代已然来临。大数据具有高容量、高价值、多样化和持续性等特点，其非结构化的特性，使得数据的保存、管理、挖掘等成为了当前企业面临的挑战。在实际应用中，往往需要根据数据应用的内存占用率、CPU占用率等信息来选择占用率较低的数据应用，或者，根据各个节点的处理性能选择处理性能较高的节点进行数据处理，因此，需要对各个数据应用的内存占用率或CPU占用率进行排序，或者，对各个节点的处理性能进行排序，以实现快速选择。

目前，可以采用下述方式实现快速选择：S0：计算出各个数据信息对应的数值，其中，该数据信息对应实际应用中数据应用的内存占用率或CPU占用率、节点的处理性能等；S1：比较相邻的数值，如果第一个数值比第二个数值大，则交换这两个数值的位置；S2：针对每一对相邻数值执行S1，直到所有数值按照从小到大的顺序排列；S3：根据实际需求在排列后的所有数值中进行选择。

对于大数据时代，数据量的级别已经达到海量数据，现有技术中需要重复的走访各个数值，因此处理过程耗时较长，效率较低。

发明内容

有鉴于此，本发明提供一种海量数据的处理方法及装置，以减少处理过程的耗时、提高处理效率。

本发明提供料一种海量数据的处理方法，包括：

计算出所有待处理数据分别对应的数值；

根据所有数值中的最大值，建立数组；其中，所述数组中至少包括与所述最大值对应的数值相等的个数的存放位置，每一个存放位置对应该存放位置在所述数组中的位置序号；

遍历所述所有数值，针对遍历到的每一个数值，执行如下操作：将所述当前数值存放到所述数组中与所述当前数值相等的位置序号所对应的存放位置处，并在对应的存放位置处的标识加1，其中，未存放有数值的存放位置处的标识初始值为0，其中，该标识对应的值用于表征对应存放位置处存放的数值个数。

优选地，在所述计算出所有待处理数据分别对应的数值之后，所述根据所有数值中的最大值，建立数组之前，进一步包括：

对所有数值进行初始化操作，以使初始化操作后的所有数值都是整数。

优选地，在所述根据所有数值中的最大值，建立数组之前，进一步包括：利用HashSet容器、SortedSet容器、TreeSet容器或EnumSet容器对所有数值中的重复数值进行过滤。

优选地，进一步包括：记录计算出所有待处理数据分别对应的数值的开始时间点以及记录将所有数值中的最后一个数值存放到所述数组中与该最后一个数值相等的位置序号所对应的存放位置处的时间点，以确定海量数据的处理时间段。

优选地，进一步包括：

依次从所述数组中每一个存放位置处取出不为0的数值，其中，在取值过程中，若存放位置处的标识大于1，则依次从该存放位置处取出与该存放位置的标识相等个数的数值，并将依次取出的不为0的数值存入列表中。

本发明还提供了一种海量数据的处理装置，包括：

计算单元，用于计算出所有待处理数据分别对应的数值；

建立单元，用于根据所有数值中的最大值，建立数组；其中，所述数组中至少包括与所述最大值对应的数值相等的个数的存放位置，每一个存放位置对应该存放位置在所述数组中的位置序号；

处理单元，用于遍历所述所有数值，针对遍历到的每一个数值，执行如下操作：将所述当前数值存放到所述数组中与所述当前数值相等的位置序号所对应的存放位置处，并在对应的存放位置处的标识加1，其中，未存放有数值的存放位置处的标识初始值为0，其中，该标识对应的值用于表征对应存放位置处存放的数值个数。

优选地，进一步包括：

初始化操作单元，用于对所有数值进行初始化操作，以使初始化操作后的所有数值都是整数。

优选地，进一步包括：

过滤单元，用于利用HashSet容器、SortedSet容器、TreeSet容器或EnumSet容器对所有数值中的重复数值进行过滤。

优选地，进一步包括：记录单元，用于记录计算出所有待处理数据分别对应的数值的开始时间点以及记录将所有数值中的最后一个数值存放到所述数组中与该最后一个数值相等的位置序号所对应的存放位置处的时间点，以确定海量数据的处理时间段。

优选地，进一步包括：