[发明专利]一种数据存储方法及装置

说明书

本发明公开了一种数据存储方法及装置，所述方法包括：根据接收到的待存储的数据，在所述数据中查找预设的第一字段，将所述数据存储到ElasticSearch中，并根据所述预设的第一字段建立索引并保存；根据接收到的所述待存储的数据，在所述数据中获取预设的第二字段，将所述数据存储到Parquet中，并在目标目录下建立索引并保存。由于在本发明实施例中，当接收到待存储的数据时，根据预设的第一字段在ElasticSearch中建立所述数据的索引并保存，并在所述数据中获取预设的第二字段，目标目录下建立数据的索引并保存，从而实现了ElasticSearch和Parquet中的数据同步更新。

技术领域

本发明属于数据处理技术领域，尤其涉及一种数据存储方法及装置。

背景技术

随着科技的进步，视频采集设备使用频率也越来越高，在道路管理系统中，通过每个卡口安装的视频采集设备来采集车辆的信息，实现对该卡口车辆的监控，给道路管理带来了很大的便利。然而，随着城市化进程的加速，经济的飞速发展，汽车的数量呈现出爆炸式增长，安装在每个卡口的视频采集设备每天采集到的车辆的信息从几百万条上升到了几千万条，甚至上亿条，数据量飞速增长，在数据查询时面临着较大的压力。

现有技术中，数据在弹性搜索(ElasticSearch)中存储时是针对每条数据的全文建立索引，每条数据的所有字段的信息全部包含在一张表中，能满足实时检索(单表查询)，即对单条数据进行查询的需求，但是完全无法满足实时分析(多表关联查询)的需求。数据在列式文件(Parquet)中存储时，Parquet中采用列式存储结构，列式存储结构是将不同数据中对应相同字段的数据进行聚合存储，即针对每条数据中对应的不同字段分别存储在对应该字段的表中，虽然这种存储方法能满足实时分析的需求，但是实时检索时的效率并不高，需要进行全表扫描进行筛选。在数据存储时为了满足对实时检索和实时分析的需求，ElasticSearch中和Parquet中已经保存了供实时检索和实时分析的数据，但接收到新的待存储的数据，如何将该数据同时更新到ElasticSearch中和Parquet中，成为一个亟待解决的问题。

发明内容

本发明提供一种数据存储方法及装置，用以实现将数据同时更新到ElasticSearch中和Parquet中。

本发明实施例公开了一种数据存储方法，所述方法包括：

根据接收到的待存储的数据，在所述数据中查找预设的第一字段，将所述数据存储到弹性搜索ElasticSearch中，并根据所述预设的第一字段在ElasticSearch中针对所述数据建立索引并保存；

根据接收到的所述待存储的数据，在所述数据中查找预设的第二字段，将所述数据存储到列式文件Parquet中，并在所述Parquet的各目录信息中查找所述第二字段对应的目标目录，在所述目标目录下建立所述数据的索引并保存，所述第一字段和第二字段不同或部分相同。

进一步地，所述将所述数据存储到Parquet中包括：

将所述数据缓存到分布式计算框架Spark的弹性分布式数据集RDD中；

判断所述RDD中缓存的数据是否满足写入条件，如果是，将RDD中缓存的数据写入到Parquet中。

进一步地，所述判断所述RDD中缓存的数据是否满足写入条件包括以下至少一种：

判断所述RDD中缓存的数据的数据量是否达到设定的容量阈值；和

判断当前是否为数据写入的时间点；和

判断所述Spark的资源使用率是否小于设定阈值。

进一步地，所述方法还包括：

接收数据备份请求，将Parquet中存储的数据备份到其他存储空间。