[发明专利]一种数据存储方法和装置

权利要求书

1.一种数据存储方法，其特征在于，所述方法包括：

获得需要存储的数据和所述数据的逻辑存储信息；

根据所述逻辑存储信息将所述数据以段为单位存储在数据文件中，并在所述数据文件中形成数据段和数据段索引，所述数据段索引用于在所述数据文件中定位数据所在的数据段，以便分布式集群并行处理所述数据文件的数据段。

2.如权利要求1所述的数据存储方法，其特征在于，所述需要存储的数据为列簇数据，所述获得需要存储的数据和所述数据的逻辑存储信息包括：

获得列簇数据和所述列簇数据的逻辑存储信息，所述列簇数据中包括一个数据表中的多列数据，所述逻辑存储信息用于将所述列簇数据存储在所述数据文件中；

所述方法还包括获得列簇定义信息，所述列簇定义信息中包括所述数据表中各列簇数据的组成信息以及各列簇数据的逻辑存储位置。

3.如权利要求2所述的数据存储方法，其特征在于，在所述获得列簇数据之前包括：

根据数据表结构和业务将所述数据表分为多个列簇数据。

4.如权利要求1至3中任一项所述的数据存储方法，其特征在于，数据段还包括数据单元，所述数据单元中包括数据块，所述方法还包括：

根据所述逻辑存储信息将所述数据格式化为多个数据块；

将所述多个数据块存储在一个数据单元中，再将多个数据单元存储在一个数据段中，并在所述数据段中形成所述数据单元的数据单元索引。

5.如权利要求4所述的数据存储方法，其特征在于，所述将多个数据单元存储在一个数据段中包括，将多个数据单元压缩后存储在一个数据段中。

6.如权利要求1至3中任一项所述的数据存储方法，其特征在于，所述数据文件为数据仓库中的存储文件。

7.一种数据访问方法，其特征在于，所述方法包括：

获得需要访问的数据的数据文件信息；

根据所述数据文件信息获取所述数据文件中存储的数据段索引信息，所述数据段索引用于在所述数据文件中定位数据所在的数据段，以便分布式集群并行处理所述数据文件的数据段；

根据所述数据段索引信息获取所述数据在所述数据文件的逻辑存储位置；

根据所述逻辑存储位置访问所述数据。

8.如权利要求7所述的数据访问方法，其特征在于，所述数据文件中存储列簇数据，所述列簇数据中包括一个数据表中的多列数据，所述获得需要访问的数据的数据文件信息包括：

判断业务需要的数据是否处于一个列簇数据中；

若判断结果为是，则根据列簇定义信息获得数据文件的信息，所述列簇定义信息中包括所述数据表中各列簇数据的组成信息以及各列簇数据的逻辑存储位置；

若判断结果为否，则根据列簇定义信息获得多个数据文件的信息。

9.一种数据存储装置，其特征在于，所述数据存储装置包括：

获取单元，用于获得需要存储的数据和所述数据的逻辑存储信息；

存储单元，用于根据所述逻辑存储信息将所述数据以段为单位存储在数据文件中，并在所述数据文件中形成数据段和数据段索引，所述数据段索引用于在所述数据文件中定位数据所在的数据段，以便分布式集群并行处理所述数据文件的数据段。

10.如权利要求9所述的数据存储装置，其特征在于，所述需要存储的数据为列簇数据，所述获取单元还用于获得列簇数据和所述列簇数据的逻辑存储信息，所述列簇数据中包括一个数据表中的多列数据，所述逻辑存储信息用于将所述列簇数据存储在所述数据文件中；

所述数据存储装置还包括定义单元，用于获得列簇定义信息，所述列簇定义信息中包括所述数据表中各列簇数据的组成信息以及各列簇数据的逻辑存储位置。

11.如权利要求10所述的数据存储装置，其特征在于，所述定义单元还用于根据数据表结构和业务将所述数据表分为多个列簇数据。