[发明专利]一种数据处理方法、装置及系统

权利要求书

1.一种数据处理方法，其特征在于，包括：

对待存储数据进行hash算法计算，得出所述待存储数据的关键值；

在预先设定的数据集合中查找是否含有与所述关键值相匹配的关键值，如果是，舍去所述待存储数据，如果否，将所述待存储数据以列式存储方法进行存储，并将所述待存储数据的关键值存储至所述数据集合中。

2.根据权利要求1所述的方法，其特征在于，所述将所述待存储数据以列式存储方法进行存储包括：

将所述待存储数据的数据结构转换成二维数据表的数据结构；

获取所述二维数据表中每列的非空列数据，依据所述二维数据表中列的数据地址顺序将所述获取的非空列数据进行存储。

3.根据权利要求2所述的方法，其特征在于，还包括：

接收数据查询请求，所述数据查询请求包括查询条件；

对所述查询条件进行hash算法计算，得出查询关键值；

在所述数据集合的关键值中，查找是否含有与所述查询关键值相匹配的关键值，如果是，在已存储的列数据中查找与所述查询关键值相对应的列数据，返回查找到的所述列数据及与该列数据对应的行数据，否则，结束本次数据查询。

4.根据权利要求1所述的方法，其特征在于，还包括：

解析已存储数据的数据属性，依据所述数据属性设置与已存储数据相对应的数据节点。

5.根据权利要求4所述的方法，其特征在于，还包括：

接收数据查询请求，所述数据查询请求包括查询条件；

依据所述查询条件，将所述数据节点划分为相关节点、可疑节点及无关节点；

在所述可疑节点中查询与所述查询条件相对应的数据节点，并返回与该数据节点相对应的已存储数据，同时返回与所述相关节点相对应的已存储数据。

6.根据权利要求3或5所述的方法，其特征在于，还包括：

将返回的数据存储至预先设置的缓存数据集合中，当再次接收到数据查询请求时，判断所述缓存数据集合中是否含有与所述数据查询请求相对应的数据，如果是，在所述缓存数据集合中进行数据查询，如果否，在已存储数据中进行数据查询。

7.根据权利要求1至5任意一项所述的方法，其特征在于，在对待存储数据进行hash算法计算之前，还包括将所述待存储数据存储至预先设定的内存中。

8.一种数据处理装置，用于实现上述方法，其特征在于，所述装置包括：

数据计算单元，用于对待存储数据进行hash算法计算，得出所述待存储数据的关键值；

数据查找单元，用于在预先设定的数据集合中查找是否含有与所述关键值相匹配的关键值；

数据去重单元，用于在所述数据查找单元在预先设定的数据集合中查找到与所述关键值相匹配的关键值的情况下，舍去所述待存储数据；

数据存储单元，用于在所述数据查找单元在预先设定的数据集合中未查找到与所述关键值相匹配的关键值的情况下，将所述待存储数据以列式存储方法进行存储，并将所述待存储数据的关键值存储至所述数据集合中。

9.根据权利要求8所述的装置，其特征在于，所述数据存储单元具体用于将所述待存储数据的数据结构转换为二维数据表的数据结构，获取所述二维数据表中每列的非空列数据，依据所述二维数据表中列的数据地址顺序将所述获取的非空列数据进行存储。

10.根据权利要求9所述的装置，其特征在于，还包括接收单元，用于接收数据查询请求，所述数据查询请求包括查询条件，并触发所述数据计算单元；

所述数据计算单元，还用于对所述查询条件进行hash算法计算，得出查询关键值；

所述数据查找单元，还用于在所述数据集合的关键值查找到与所述查询关键值相匹配的关键值，如果是，则在已存储的列数据中查找与所述查询关键值相对应的列数据，返回查找到的所述列数据及与该列数据对应的行数据。

11.根据权利要求8所述的装置，其特征在于，还包括节点设置单元，用于解析已存储数据的数据属性，依据所述数据属性设置与已存储数据相对应的数据节点。