[发明专利]一种数据存储方法及装置

权利要求书

1.一种数据存储方法，其特征在于，所述方法包括：

根据接收到的待存储的数据，在所述数据中查找预设的第一字段，将所述数据存储到弹性搜索ElasticSearch中，并根据所述预设的第一字段在ElasticSearch中针对所述数据建立索引并保存；

根据接收到的所述待存储的数据，在所述数据中查找预设的第二字段，将所述数据存储到列式文件Parquet中，并在所述Parquet的各目录信息中查找所述第二字段对应的目标目录，在所述目标目录下建立所述数据的索引并保存，所述第一字段和第二字段不同或部分相同。

2.如权利要求1所述的方法，其特征在于，所述将所述数据存储到Parquet中包括：

将所述数据缓存到分布式计算框架Spark的弹性分布式数据集RDD中；

判断所述RDD中缓存的数据是否满足写入条件，如果是，将RDD中缓存的数据写入到Parquet中。

3.如权利要求2所述的方法，其特征在于，所述判断所述RDD中缓存的数据是否满足写入条件包括以下至少一种：

判断所述RDD中缓存的数据的数据量是否达到设定的容量阈值；和

判断当前是否为数据写入的时间点；和

判断所述Spark的资源使用率是否小于设定阈值。

4.如权利要求1或2所述的方法，其特征在于，所述方法还包括：

接收数据备份请求，将Parquet中存储的数据备份到其他存储空间。

5.如权利要求4所述的方法，其特征在于，当将数据写入Parquet中时采用RDD时，所述将Parquet中存储的数据备份到其他存储空间包括：

将RDD中缓存的数据写入Parquet中，之后将Parquet中存储的数据备份到其他存储空间。

6.如权利要求4所述的方法，其特征在于，所述方法还包括：

接收数据还原请求；

针对所述其他存储空间中备份的每条备份数据，在所述备份数据中查找预设的第二字段，将所述备份数据存储到Parquet中，并在所述Parquet的各目录信息中查找所述第二字段对应的目标目录，在所述目标目录下建立所述数据的索引并保存；在所述备份数据中查找预设的第一字段，将所述备份数据存储到ElasticSearch中，并根据所述预设的第一字段在ElasticSearch中针对所述备份数据建立索引并保存。

7.如权利要求1所述的方法，其特征在于，所述根据所述预设的第一字段在ElasticSearch中针对所述数据建立索引并保存包括：

在ElasticSearch中针对所述数据的所述第一字段建立倒排索引，并保存所述倒排索引。

8.一种数据存储装置，其特征在于，所述装置包括：

第一存储模块，用于根据接收到的待存储的数据，在所述数据中查找预设的第一字段，将所述数据存储到弹性搜索ElasticSearch中，并根据所述预设的第一字段在ElasticSearch中针对所述数据建立索引并保存；

第二存储模块，用于根据接收到的所述待存储的数据，在所述数据中查找预设的第二字段，将所述数据存储到列式文件Parquet中，并在所述Parquet的各目录信息中查找所述第二字段对应的目标目录，在所述目标目录下建立所述数据的索引并保存，所述第一字段和第二字段不同或部分相同。

9.如权利要求8所述的装置，其特征在于，所述第二存储模块，具体用于将所述数据缓存到分布式计算框架Spark的弹性分布式数据集RDD中；判断所述RDD中缓存的数据是否满足写入条件，如果是，将RDD中缓存的数据写入到Parquet中。