[发明专利]一种快速统计重复次数方法、装置及存储介质

说明书

本发明提出了一种快速统计重复次数方法、电子装置及存储介质。该方法包括：根据预设算法将每一个目标数据转换为字符串，对所述字符串进行进制换算，得到一个十进制的整数序列；依次读取所述整数序列的每个十进制数，判断预设二维数组的第一维度中是否存在所述十进制数，若存在，则在所述第一维度的十进制数对应的第二维度的元素的数值上加1；若不存在，则将该十进制数增加到所述预设二维数组的第一维度中，并将新增的第一维度的十进制数对应的第二维度的数值赋值为1；从所述二维数组中筛选出第二维度数值不为零的元素组成新的二维数组，将该新的二维数组发送给用户。利用本发明，加快了统计重复数据的速度，减少了空间内存的消耗。

技术领域

本发明涉及数据处理领域，尤其涉及一种快速统计重复次数的方法、装置及存储介质。

背景技术

用户在使用终端的过程需要接收大量的数据，可是随着数据量增大，对内存空间的需求也在逐步增大。这时就需要优化内存空间，从大量的数据中找出重复的数据，而比较内存里的数据是否重复是一个特别耗时和耗内存的事情。

发明内容

本发明提供一种快速统计重复次数的方法、装置及存储介质，其主要目的是减少统计数据的时间，节省内存。

为实现上述目的，本发明提供一种快速统计重复次数的方法，该方法包括：

转换步骤：根据预设算法将每一个目标数据转换为字符串，对所述字符串进行进制换算，得到一个十进制的整数序列；

统计步骤：依次读取所述整数序列的每个十进制数，判断预设二维数组的第一维度中是否存在所述十进制数，若存在，则在所述第一维度的十进制数对应的第二维度的元素的数值上加1；若不存在，则将该十进制数增加到所述预设二维数组的第一维度中，并将新增的第一维度的十进制数对应的第二维度的数值赋值为1；及

输出步骤：从所述二维数组中筛选出第二维度数值不为零的元素组成新的二维数组，将该新的二维数组发送给用户。

优选地，所述预设算法通过对目标数据进行md5编码，得到唯一对应的字符串。

优选地，所述预设二维数组的第一维度表示与目标数据对应的十进制数，第二维度表示与目标数据对应的十进制数的重复次数。

优选地，所述预设二维数组的第一维度和第二维度的数据以key-value的形式存储，第一维度的数据和第二维度的数据一一对应。

优选地，当所述整数序列中的十进制数数量超过第一预设阈值时，按照预设分组规则对所述整数序列进行分组，分别执行统计步骤，生成各个分组对应的二维数组子集合，对每个分组对应的二维数组子集合执行合并操作，生成所述整数序列对应的二维数组，从所述二维数组中筛选出第二维度数值不为零的元素组成新的二维数组，将该新的二维数组发送给用户。

优选地，当所述十进制数序列的某个十进制数的位数超过第二预设阈值时，按照预设分段规则对该十进制数进行分段处理，依次对比每一段整数，当判断两个十进制数对应的每段整数均相同时，则判定这两个十进制数是一样的，在预设二维数组第一维度的十进制数对应的第二维度的数值上加1。

此外，本发明还提供一种电子装置，该电子装置包括存储器和处理器，所述存储器中包括快速统计程序，该快速统计程序被所述处理器执行时实现如下步骤：

转换步骤：根据预设算法将每一个目标数据转换为字符串，对所述字符串进行进制换算，得到一个十进制的整数序列；

统计步骤：依次读取所述整数序列的每个十进制数，判断预设二维数组的第一维度中是否存在所述十进制数，若存在，则在所述第一维度的十进制数对应的第二维度的元素的数值上加1；若不存在，则将该十进制数增加到所述预设二维数组的第一维度中，并将新增的第一维度的十进制数对应的第二维度的数值赋值为1；及