[发明专利]一种数据库的电子围栏数据持久化分布的方法

说明书

本发明提供一种数据库的电子围栏数据持久化分布的方法，其中，包括：获取目标端数据的数据属性；根据不同数据属性获取目标端的数据后将不同数据分别进行数据转换；将每个转换后的数据压缩成元数据后，根据数据属性进行分区存储，每个存储区间生成一个对应的执行指令；将执行指令发送至目标端，目标端根据执行指令获取相应的数据属性的元数据。本发明能够对大数据量的数据进行有效的进行对应缓存，通过数据属性将数据精确的进行转换处理，并在处理过程中有效提高数据存储的安全性，并通过将数据按照某一特定属性进行分层存储，提高数据不同数据存储的效率。

技术领域

本发明涉及分布式数据库领域，特别是一种数据库的电子围栏数据持久化分布的方法。

背景技术

分布式数据库是指利用高速计算机网络将物理上分散的多个数据存储单元连接起来组成一个逻辑上统一的数据库。通过将集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上，以获取更大的存储容量和更高的并发访问量。通常，在源端数据库通过电子地图设置好目标节点电子围栏，进而抽取数据，并通过网络将数据发送至目标节点、目标节点按照需要进行数据整理、将数据写入持久化的存储及展现。

然而，抽取的数据通常未经处理占用大量的网络宽带、在目标节点数小于源节点数的情况下，对数据整理的计算压力集中在相对较少的目标节点上，造成整个过程执行缓慢，难以有效的进行对应缓存，难以精准的实现转换处理，以及难以保证的提高数据的安全性，值得注意的是，进行分布存储时的数据的传输速度还存在差异，影响数据存储的效率。因此，需要一种能够有效应对上述问题的数据分布处理方法。

发明内容

为了克服现有技术的上述缺点，本发明的目的是提供一种数据库的电子围栏数据持久化分布的方法，以有效应对上述一个或多个问题，实现数据分布的持久化。

本发明解决其技术问题所采用的技术方案是：

一种数据库的电子围栏数据持久化分布的方法，其中，包括：

预设电子围栏的定位规则和接收规则，在数据库中根据定位规则划定电子围栏的范围，在范围内根据接收规则判定范围内的数据是否为目标端数据；

若是，则获取目标端数据的数据属性；

根据不同数据属性获取目标端的数据后将不同数据分别进行数据转换；

将每个转换后的数据压缩成元数据后，根据数据属性进行分区存储，每个存储区间生成一个对应的执行指令；

将执行指令发送至目标端，目标端根据执行指令获取相应的数据属性的元数据。

作为本发明的进一步改进：建立多节点的分布缓存数据库对元数据进行存储，所述分布式缓存数据库中具有若干个节点，每个节点负责存储一种数据属性的数据。

作为本发明的进一步改进：所述数据转换的方法为：识别所获取的数据的数据类型，根据该数据类型确定需要发生的结构和数据转换；执行数据映射以定义各个字段的映射、修改、连接、过滤和聚合的方式；根据该方式执行转换。

作为本发明的进一步改进：所述数据转换的内容包括：数据类型转换、数据语义转换、数据值域转换、数据粒度转换、表/数据拆分、行列转换、数据离散化、数据离散化、提炼新字段、属性构造、数据压缩。

作为本发明的进一步改进：设置安全验证系统，所述安全验证系统包括获取数据时的第一网络协议和进行数据转换时的第二网络协议；在获取目标端数据的数据属性前，通过第一网络协议对所获取的数据进行安全验证，接收通过验证的数据；在进行数据转换前通过第二网络协议对接收的数据进行安全验证，将通过安全验证的数据进行数据转换。

作为本发明的进一步改进：在转换后的数据压缩成元数据时进行至少一次加密操作后得到加密元数据，将加密元数据进行存储。