[发明专利]数据处理方法、装置及电子设备

说明书

本发明实施例提供一种数据处理方法、装置及电子设备，其中，方法包括：获取数据库中经水平切分的原始数据，并将所述原始数据进行聚合形成一个中间状态数据表；将所述中间状态数据表中的数据同步到预置搜索引擎中，并对该数据设置索引。本发明实施例的方案，通过使用搜索引擎，解决数据库水平切分之后的不定组合多维查询问题。

技术领域

本申请涉及通信技术领域，尤其涉及一种数据处理方法、装置及电子设备。

背景技术

水平切分，是指通过一系列的切分规则将数据水平分布到不同的数据库或表中。对于大数据量，如底层采用mysql数据库表水平切分(分库分表)存储主表+附表数据，在解决跨分片随机组合列进行综合查询时常采用如下方案：

1.针对查询条件设置合适的索引。当查询条件很多且随机组合时，会导致查询很难走到正确的索引，进而导致查询超时；另外，随机组合的多维查询条件，也使索引构建成本很高，需要跟随使用的情况构建索引，导致索引结构和查询场景强绑定，不易于维护。对于新增列属性时，需要同步修改数据库的宽表结构，以及数据库数据同步任务，有一定的维护成本。

2.直接在数据库多分片上进行数据查询，然后进行合并。缺点：调度复杂，需要对于相关表进行多次关联查询，由于没有分表键，所以都要进行数据表的全量扫描。对于扫描结果，需要把大量的数据加载到内存进行处理，计算成本很高，对于groupBy和分页，更是需要把大量的数据处理放到程序中，所带来的开发和维护成本是灾难性的。同时，对于多维不定组合的查询条件，也会面临1中索引构建的问题。

发明内容

本发明提供了一种数据处理方法、装置及电子设备，通过使用搜索引擎，解决数据库水平切分之后的不定组合多维查询问题。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，提供了一种数据处理方法，包括：

获取数据库中经水平切分的原始数据，并将所述原始数据进行聚合形成一个中间状态数据表；

将所述中间状态数据表中的数据同步到预置搜索引擎中，并对该数据设置索引。

第二方面，提供了另一种数据处理方法，包括：

获取数据库中经水平切分的至少一个主表的主表数据；

将所述主表数据同步到预置搜索引擎中，并对该数据设置索引。

第三方面，提供了一种数据处理装置，包括：

数据获取模块，用于获取数据库中经水平切分的原始数据，并将所述原始数据进行聚合形成一个中间状态数据表；

同步索引模块，用于将所述中间状态数据表中的数据同步到预置搜索引擎中，并对该数据设置索引。

第四方面，提供了另一种数据处理装置，包括：

主表数据获取模块，用于获取数据库中经水平切分的至少一个主表的主表数据；

数据同步索引模块，用于将所述主表数据同步到预置搜索引擎中，并对该数据设置索引。

第五方面，提供了一种电子设备，包括：

存储器，用于存储程序；

处理器，耦合至所述存储器，用于执行所述程序，所述程序运行时执行本发明第一方面提供的数据处理方法。

第六方面，提供了一种电子设备，包括：

存储器，用于存储程序；

处理器，耦合至所述存储器，用于执行所述程序，所述程序运行时执行本发明第二方面提供的数据处理方法。