[发明专利]一种基于大数据的分布式非结构化数据库关联查询方法

权利要求书

1.一种基于大数据的分布式非结构化数据库关联查询方法，其特征在于，该方法包括以下的步骤：

S1、数据表的生成，结合业务需求，采用mapping设计多表关联的数据表实例，以获得多张数据表；

S2、数据表监控，通过Ogg监控各数据表变化，以适应业务数据的实时变化；

S3、数据同步，利用Ogg同步原理，实现Oracle数据库与kafka集群中多表增量数据的实时同步；

S4、ETL处理及数据聚合，通过kafka集群，对步骤S3中经过数据同步的数据进行清洗及预处理，并聚合后落地存储至非结构化数据库中；

S5、分片算法的选择，当数据达到Tb级别数据量时，通过结合查询场景设计分片算法，实现数据的分布式海量存储。

2.根据权利要求1所述的一种基于大数据的分布式非结构化数据库关联查询方法，其特征在于，在所述的步骤S1中,所述的业务需求包括但不限于支付领域中的扫码预授权、聚合码、直连以及间联业务。

3.根据权利要求1所述的一种基于大数据的分布式非结构化数据库关联查询方法，其特征在于，在所述的步骤S1中：

在mapping设计多表关联的表实例时，需设计源端至目标端的落地规则，实现非结构化数据库关联查询表的实现原型。

4.根据权利要求3所述的一种基于大数据的分布式非结构化数据库关联查询方法，其特征在于，所述的落地规则包括但不限于分布式数据据库的数据分片键的设计和预先设置频繁查询的索引。

5.根据权利要求1所述一种基于大数据的分布式非结构化数据库关联查询方法，其特征在于，所述的步骤S5中，所述的查询场景包括但不限于：

第一场景，数据写入频繁且读取较少的场景，具体是指，写入的数据有1000万条以上，而读取的数据有1-2万条；

第二场景，数据读取频繁且写入较少的场景，具体是指，写入的数据有1-2万条,而读取的数据有1000万条以上。

6.根据权利要求5所述的一种基于大数据的分布式非结构化数据库关联查询方法，其特征在于，对于第一场景，采用hash分片算法，将指定的key hash散列分布在不同的分布式非结构性数据库集群的节点上，在数据落地时将数据做到了平衡，提升写入性能。

7.根据权利要求5所述的一种基于大数据的分布式非结构化数据库关联查询方法，其特征在于，对于第二场景，采用range分片算法，以提升扫描和排序数据方面的性能。

8.根据权利要求4所述的一种基于大数据的分布式非结构化数据库关联查询方法，其特征在于，所述的步骤S5之后，还包括以下的步骤：

S6、根据查询场景及Nosq1分布式存储的优势，优化查询索引及优化数据块分布，以解决查询性能瓶颈。

9.根据权利要求8所述的一种基于大数据的分布式非结构化数据库关联查询方法，其特征在于，所述优化查询索引的方式包括：每个查询都需要创建对应索引。

10.根据权利要求8所述的一种基于大数据的分布式非结构化数据库关联查询方法，其特征在于，所述优化查询索引的方式包括：单个索引的设计需满足多个数据查询。

11.根据权利要求8所述的一种基于大数据的分布式非结构化数据库关联查询方法，其特征在于，所述优化查询索引的方式包括：索引字段选择及顺序，需考虑查询覆盖率和选择性。

12.根据权利要求8所述的一种基于大数据的分布式非结构化数据库关联查询方法，其特征在于，所述优化查询索引的方式包括：对于更新及其频繁的字段上创建索引需慎重。

13.根据权利要求8所述的一种基于大数据的分布式非结构化数据库关联查询方法，其特征在于，所述优化查询索引的方式包括：对于数组索引需要慎重考虑未来元素个数。