[发明专利]一种数据处理方法、装置、电子设备及存储介质

说明书

本发明公开了一种数据处理方法、装置、电子设备及存储介质，在本发明实施例中，电子设备中预设有多种数据处理策略，并且每种数据处理策略与数据表的类别、同步方式、生命周期存在对应关系。当接收到数据同步请求信息，解析出数据同步请求信息中携带的数据库中待同步的数据表的类别、同步方式和生命周期，然后根据预设的对应关系确定目标数据处理策略。基于目标数据处理策略，在Elasticsearch索引库中创建对应的存储索引，将待同步的数据表中的数据同步存储至对应的存储索引中。这样针对不同的业务场景，会根据不同的数据处理策略来进行数据处理。从而能够充分匹配实际多种业务场景。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

在大数据时代，数据处理一般包括数据同步和数据检索等处理方案。在不同的业务场景中，关系型数据库中的数据表可能包括分区表和非分区表，数据同步方式可能包括全量同步和增量同步，分区表中可能包括拉链表这种常用的快照式表，数据表的生命周期包括永久和非永久等。不同的业务场景具有不同的特点，但是现有技术中在进行数据同步时，不对待同步的数据表的类别、同步方式和生命周期进行区分，一般都是一次性的将数据库中的数据同步至索引库中，然后用户在索引库中进行检索等操作，如果后续数据库中的数据有增加，然后再将数据库中增加的数据逐条同步至索引库中。

由于现有技术中在进行数据同步时，不对待同步的数据表的类别、同步方式和生命周期进行区分，都是采用单一的数据处理方案，因此不能很好的适用不同的业务需求。

发明内容

本发明实施例提供了一种数据处理方法、装置、电子设备及存储介质，用以解决目前的数据处理方案单一，不能充分匹配实际多种业务场景的问题。

本发明实施例提供了一种数据处理方法，所述方法包括：

接收数据同步请求信息，获取所述数据同步请求信息中携带的数据库中待同步的数据表的类别、同步方式和生命周期；

根据预设的不同的数据处理策略分别对应的预设的数据表的类别、同步方式、生命周期，确定所述数据同步请求信息对应的目标数据处理策略；

基于所述目标数据处理策略，在Elasticsearch索引库中创建对应的存储索引，将所述待同步的数据表中的数据同步存储至所述对应的存储索引中。

进一步地，所述预设的不同的数据处理策略分别对应的预设的数据表的类别、同步方式、生命周期包括：

类别为非分区数据表、同步方式为全量同步、生命周期为永久对应的数据处理策略为循环索引策略；

类别为非分区数据表、同步方式为增量同步、生命周期为永久对应的数据处理策略为单索引策略；

类别为分区拉链数据表、同步方式为全量同步、生命周期为永久对应的数据处理策略为循环索引策略；

类别为分区数据表、同步方式为增量同步、生命周期为永久对应的数据处理策略为单索引策略；

类别为分区数据表、同步方式为增量同步、生命周期为非永久对应的数据处理策略为索引模板策略。

进一步地，若所述目标数据处理策略为循环索引策略，所述基于所述目标数据处理策略，在Elasticsearch索引库中创建对应的存储索引包括：

基于所述目标数据处理策略，在Elasticsearch索引库中创建对应的存储索引、读取索引和删除索引，并为所述存储索引设置对应的存储别名，为所述读取索引设置对应的读取别名，为所述删除索引设置对应的删除别名；以使用户通过别名进行数据处理；

所述方法还包括：