[发明专利]一种基于大数据的分布式非结构化数据库关联查询方法

说明书

本发明公开了一种基于大数据的分布式非结构化数据库关联查询方法，涉及数据处理技术领域；该方法包括以下的步骤：S1、数据表的生成，结合业务需求，采用mapping设计多表关联的数据表实例，以获得多张数据表；S2、数据表监控；S3、数据同步；S4、ETL处理及数据聚合，通过kafka集群，对步骤S3中经过数据同步的数据进行清洗及预处理，并聚合后落地存储至非结构化数据库中；S5、分片算法的选择，当数据达到Tb级别数据量时，通过结合查询场景设计分片算法，实现数据的分布式海量存储；本发明的有益效果是：可实现结构化数据库与非结构化数据库的读写分离，解决海量数据存储问题。

技术领域

本发明涉及数据处理技术领域，更具体的说，本发明涉及一种基于大数据的分布式非结构化数据库关联查询方法。

背景技术

关系数据库，是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。现实世界中的各种实体以及实体之间的各种联系均用关系模型来表示。标准数据查询语言SQL就是一种基于关系数据库的语言，这种语言执行对关系数据库中数据的检索和操作。关系模型由关系数据结构、关系操作集合、关系完整性约束三部分组成。

传统关系型数据库，涉及表与表之间的关联查询，可通过视图实现。但随着业务的快速增长，关系型数据库的瓶颈逐渐凸显，如：(1)数据量急剧增加，查询性能瓶颈严重；(2)传统关系型数据库查询瓶颈影响交易过程中的写入性能，急需考虑读写分离；(3)传统关系型数据库难以解决海量数据存储问题。

发明内容

为了克服现有技术的不足，本发明提供一种基于大数据的分布式非结构化数据库关联查询方法，该方法可实现结构化数据库与非结构化数据库的读写分离，解决海量数据存储问题。

本发明解决其技术问题所采用的技术方案是：一种基于大数据的分布式非结构化数据库关联查询方法，其改进之处在于，该方法包括以下的步骤：

S1、数据表的生成，结合业务需求，采用mapping设计多表关联的数据表实例，以获得多张数据表；

S2、数据表监控，通过Ogg监控各数据表变化，以适应业务数据的实时变化；

S3、数据同步，利用Ogg同步原理，实现Oracle数据库与kafka集群中多表增量数据的实时同步；

S4、ETL处理及数据聚合，通过kafka集群，对步骤S3中经过数据同步的数据进行清洗及预处理，并聚合后落地存储至非结构化数据库中；

S5、分片算法的选择，当数据达到Tb级别数据量时，通过结合查询场景设计分片算法，实现数据的分布式海量存储。

进一步的，在所述的步骤S1中，所述的业务需求包括但不限于支付领域中的扫码预授权、聚合码、直连以及间联业务。

进一步的，在所述的步骤S1中：

在mapping设计多表关联的表实例时，需设计源端至目标端的落地规则，实现非结构化数据库关联查询表的实现原型。

进一步的，所述的落地规则包括但不限于分布式数据据库的数据分片键的设计和预先设置频繁查询的索引。

进一步的，所述的步骤S5中，所述的查询场景包括但不限于：

第一场景，数据写入频繁且读取较少的场景，具体是指，写入的数据有1000万条以上，且读取的数据有1-2万条；

第二场景，数据读取频繁且写入较少的场景，具体是指，写入的数据有1-2万条,且读取的数据有1000万条以上。

进一步的，对于第一场景，采用hash分片算法，将指定的key hash散列分布在不同的集群节点上，在数据落地时将数据做到了平衡，提升写入性能。