[发明专利]数据存储方法、装置、计算机设备和存储介质

说明书

本申请涉及一种数据存储方法、装置、计算机设备和存储介质，该方法包括：根据数据分割策略，将待存储的数据拆分成多份数据，其中，该分割策略包括以下至少之一：时间分割策略、字段分割策略、业务分割策略；将该多份数据分别存储到不同的索引上，得到多个目标索引，其中，该目标索引包括前缀、根据该分割策略定义的信息；将该多个目标索引对应的数据分别存储到多个节点中。采用本方法能够达到减轻各个ES节点的压力，提高检索能力，且在删除某个分割后的索引的情况下，不会影响到其他索引的查询效率的技术效果。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种数据存储方法、装置、计算机设备和存储介质。

背景技术

Elasticsearch(简称为，ES)是一个基于Lucene构建的开源、分布式、RESTful接口的全文搜索引擎。ES能够横向扩展至数以百计的服务器存储以及处理PB级的数据，可以在极短的时间内存储、搜索和分析海量的数据。与传统的关系型数据库相比，ES支持分片和复制，从而方便水平分割和扩展，复制保证了ES的高可用与高吞吐。

目前使用ES存储大量数据一般是将结构相同的数据存储在ES的同一个索引上，利用ES对海量数据的支持，对这些数据进行检索和分析。

具体在存储时，ES会将数据分散存储到多个节点上存储方式如图1所示：

查询时，ES从所有的节点上查询数据后，汇总返回给客户端。查询方式如图2所示。

但是，需要说明的是，如果单个索引的数据量过大，可能会对集群从故障中恢复的能力产生负面影响，删除数据时可能会对索引的查询造成比较大的影响。

针对相关技术中，使用ES存储大量数据时将结构相同的数据存储在ES的同一个索引上，导致各个ES节点的压力较大，检索能力较低的问题，尚未提出有效的解决方案。

发明内容

基于此，有必要针对上述技术问题，提供一种能够减轻各个ES节点的压力，提高检索能力，并且在删除某个分割后的索引后，不会影响到其他索引的查询效率的数据存储方法、装置、计算机设备和存储介质。

一种数据存储方法，所述方法包括：根据数据分割策略，将待存储的数据拆分成多份数据，其中，所述分割策略包括以下至少之一：时间分割策略、字段分割策略、业务分割策略；将所述多份数据分别存储到不同的索引上，得到多个目标索引，其中，所述目标索引包括前缀、根据所述分割策略定义的信息。

在其中一个实施例中，在所述分割策略为所述时间分割策略时，所述根据数据分割策略，将待存储的数据拆分成多份数据包括：获取所述待存储的数据的新增日期，其中，所述新增日期为每天新增的数据所对应的具体时间，且所述新增日期包括多个；根据所述新增日期，将所述待存储的数据拆分成多份数据。

在其中一个实施例中，在所述分割策略为所述字段分割策略时，所述根据数据分割策略，将待存储的数据拆分成多份数据包括：根据预设规则设置目标字段，其中，所述目标字段用于拆分数据；根据所述目标字段，将所述待存储的数据拆分成多份数据。

在其中一个实施例中，在所述分割策略为所述业务分割策略时，所述根据数据分割策略，将待存储的数据拆分成多份数据包括：获取所述待存储的数据对应的业务类型；根据所述业务类型，将所述待存储的数据拆分成多份数据。

在其中一个实施例中，在将所述多个目标索引对应的数据分别存储到多个节点中之后，所述方法还包括：通过所述多个目标索引的前缀和根据所述分割策略定义的信息，查询第一目标数据，其中，所述多个目标索引的前缀均相同；将所述第一目标数据上报至数据库。

在其中一个实施例中，在将所述多个目标索引对应的数据分别存储到多个节点中之后，所述方法还包括：根据所述多个目标索引的前缀，查询第二目标数据；将所述第二目标数据上报至数据库。