[发明专利]一种高性能的数据湖系统及数据存储方法

权利要求书

1.一种数据湖系统的数据存储方法，其特征在于，包括以下步骤：

S1.将文件转成文件流；

S2.将文件流转成一个数组嵌套多个子数组的形式，且数组嵌套子数组的数量与当前硬件环境CPU内核数量相一致；

S3.将所述的数组转成RDD后存储至数据湖的存储层中。

2.根据权利要求1所述的数据湖系统的数据存储方法，其特征在于，系统通过读取配置文件的方式获取当前硬件环境CPU内核数量从而动态确定相应数量的子数组。

3.根据权利要求2所述的数据湖系统的数据存储方法，其特征在于，步骤S2与S3之间还包括：

检测当前数组大小，若在设定值之内，则以单行形式存储当前数组；若超过设定值，则将当前数组切分以分行存储，且每行的数组大小均小于或等于设定值。

4.根据权利要求3所述的数据湖系统的数据存储方法，其特征在于，当数组大小大于设定值时，分行数量n为n=m/s+1，其中m表示数组大小，s表示设定值，/表示整除取商。

5.根据权利要求4所述的数据湖系统的数据存储方法，其特征在于，对大于设定值的数组切分成多个后返回包含多个RDD的迭代器。

6.根据权利要求5所述的数据湖系统的数据存储方法，其特征在于，还包括通过轮询自动存储方法：

A1.轮询监听文件，在每次轮询中，获得指定路径下所有文件的绝对路径，将其放入到一个数组中，作为最新的偏移量；

A2.取上一次轮询的结果，两个数组做差集；

A3.根据差集结果获得在此次轮询中， 新增文件的绝对路径，随后通过步骤S1-S3将新增文件存入数据湖。

7.根据权利要求6所述的数据湖系统的数据存储方法，其特征在于，本系统通过继承FileFormat类对数据湖系统重写批读和批写以使数据湖系统支持批读和批写。

8.一种高性能的数据湖系统，其特征在于，采用权利要求1-7任意一项所述的存储方法进行数据存储。