[发明专利]一种数据处理方法、装置、电子设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

接收数据同步请求信息，获取所述数据同步请求信息中携带的数据库中待同步的数据表的类别、同步方式和生命周期；

根据预设的不同的数据处理策略分别对应的预设的数据表的类别、同步方式、生命周期，确定所述数据同步请求信息对应的目标数据处理策略；

基于所述目标数据处理策略，在Elasticsearch索引库中创建对应的存储索引，将所述待同步的数据表中的数据同步存储至所述对应的存储索引中。

2.如权利要求1所述的方法，其特征在于，所述预设的不同的数据处理策略分别对应的预设的数据表的类别、同步方式、生命周期包括：

类别为非分区数据表、同步方式为全量同步、生命周期为永久对应的数据处理策略为循环索引策略；

类别为非分区数据表、同步方式为增量同步、生命周期为永久对应的数据处理策略为单索引策略；

类别为分区拉链数据表、同步方式为全量同步、生命周期为永久对应的数据处理策略为循环索引策略；

类别为分区数据表、同步方式为增量同步、生命周期为永久对应的数据处理策略为单索引策略；

类别为分区数据表、同步方式为增量同步、生命周期为非永久对应的数据处理策略为索引模板策略。

3.如权利要求2所述的方法，其特征在于，若所述目标数据处理策略为循环索引策略，所述基于所述目标数据处理策略，在Elasticsearch索引库中创建对应的存储索引包括：

基于所述目标数据处理策略，在Elasticsearch索引库中创建对应的存储索引、读取索引和删除索引，并为所述存储索引设置对应的存储别名，为所述读取索引设置对应的读取别名，为所述删除索引设置对应的删除别名；以使用户通过别名进行数据处理；

所述方法还包括：

通过索引刷新，更新所述存储索引、读取索引和删除索引和别名的对应关系，其中，将所述删除别名、读取别名和存储别名按照从左到右逻辑排序，在进行索引刷新时，将所述删除索引、读取索引和存储索引循环左移一位。

4.如权利要求3所述的方法，其特征在于，所述将所述待同步的数据表中的数据同步存储至所述对应的存储索引中包括：

若所述待同步的数据表为拉链表，在同步周期中获取所述拉链表中存储数据量最大的分区中的第一数据量，判断所述第一数据量是否增大，如果是，将所述拉链表中存储数据量最大的分区中的数据存储至所述存储别名对应的索引中，并进行索引刷新；

若所述待同步的数据表为非分区表，在同步周期中获取所述非分区表中存储的第二总数据量，判断所述第二总数据量是否增大，如果是，将所述非分区表中存储的数据存储至所述存储别名对应的索引中，并进行索引刷新。

5.如权利要求2所述的方法，其特征在于，若所述目标数据处理策略为单索引策略，所述基于所述目标数据处理策略，在Elasticsearch索引库中创建对应的存储索引包括：

基于所述目标数据处理策略，在Elasticsearch索引库中创建对应的存储索引，并为所述存储索引分别设置删除别名、读取别名和存储别名；以使用户通过别名进行数据处理。

6.如权利要求5所述的方法，其特征在于，所述将所述待同步的数据表中的数据同步存储至所述对应的存储索引中包括：

在同步周期中获取所述待同步的数据表中数据增量标识的最大值，判断所述数据增量标识的最大值是否增大，如果是，将增大的数据增量标识对应的数据存储至所述存储别名对应的索引中。

7.如权利要求2所述的方法，其特征在于，若所述目标数据处理策略为索引模板策略，所述基于所述目标数据处理策略，在Elasticsearch索引库中创建对应的存储索引包括：

基于所述目标数据处理策略，根据所述待同步的数据表的分区，在Elasticsearch索引库中创建与所述待同步的数据表的分区分别对应的每个存储索引，并为所述每个存储索引设置读取别名；以使用户通过所述读取别名进行数据处理。