[发明专利]一种大数据量环境中数据运算的方法和设备

说明书

本发明提供了一种大数据量环境中数据运算的方法和设备，该方法包括：设定char类型内存空间存储数据的方式；基于存储数据的方式使用char类型内存空间中的每个char存储待运算数据中对应数量的整数；基于存储数据的方式对每个数据进行运算。通过使用本发明的方案，能够免除大数据在内存中存放的空间，极大的提升数据运算的效率。

技术领域

本领域涉及计算机领域，并且更具体地涉及一种大数据量环境中数据运算的方法和设备。

背景技术

随着网络的发展，目前服务器需要处理的数据越来越多，对大量数据进行处理加工的情况越来越常见。相应的市场上涌现了越来越多的处理这些数据的方法。目前现有的处理方式有以下几种：1、内存存放全部处理法，将全部数据放入内存中，用排序或者查重的方式对数据进行处理；2、局部淘汰法，从数据中找出一部分进行数据运算然后剩下的数据与事先找好的数据进行对比处理；3、分治法，将整体数据按照一定比例分成相同的体量的n份对n份数据分别运算或者多次递归运算。最终得出所需数据。

内存存放全部处理法是目前应用最广的方法。缺点也很明显，大数据数量庞大，如果全部放于内存中运算需要占用大量内存空间。如果需要查找10亿个查询次(每个占8B)中出现频率最高的10个，考虑到每个查询词占8B，则10亿个查询次所需的内存大约是10^9*8B＝8GB内存。一般的计算机无法支撑这么大的内存使用。该方法与排序方法类似，单纯遍历完一亿个数所用的时间也非常庞大。此种方法时间复杂度为O(n+m^2)其中m为容器大小，n为剩余数据量大小。分治法介于第一和第二中方法之间，将大数据分割处理，减小内存使用，将内存分别分配与不通的计算机中，多台机器联合运算。这要借助多台计算机的算力降低了内存使用空间提高了计算效率。但是多台计算机协同运算牵扯到计算机之间协同运算的问题。需要考虑计算备份以及协同运作的问题导致架构比较复杂。

发明内容

有鉴于此，本发明实施例的目的在于提出一种大数据量环境中数据运算的方法和设备，通过使用本发明的技术方案，能够免除大数据在内存中存放的空间，极大的提升数据运算的效率。

基于上述目的，本发明的实施例的一个方面提供了一种大数据量环境中数据运算的方法，包括以下步骤：

设定char(用于C或C++中定义字符型变量)类型内存空间存储数据的方式；

基于所述存储数据的方式使用char类型内存空间中的每个char存储待运算数据中对应数量的整数；

基于所述存储数据的方式对每个数据进行运算。

根据本发明的一个实施例，设定char类型内存空间存储数据的方式包括：

将char类型内存空间存储数据的方式设定为1个整数位128个状态、2个整数位8个状态或者4个整数位2个状态中的一种。

根据本发明的一个实施例，基于所述存储数据的方式使用char类型内存空间中的每个char存储待运算数据中对应数量的整数包括：

判断char类型内存空间存储数据的方式；

响应于char类型内存空间存储数据的方式是1个整数位128个状态，使用每个char的第一Bit位存储整数是否保存在内存中的信息，第二至第八Bit位存储整数的状态位。

根据本发明的一个实施例，基于所述存储数据的方式使用char类型内存空间中的每个char存储待运算数据中对应数量的整数包括：

判断char类型内存空间存储数据的方式；

响应于char类型内存空间存储数据的方式是2个整数位8个状态，使用每个char的第一Bit位存储第一个整数是否保存在内存中的信息，第二至第四Bit位存储所述第一个整数的状态位，第五个Bit位存储第二个整数是否保存在内存中的信息，第六至第八Bit位存储所述第二个整数的状态位。