[发明专利]一种数据实用流化分散整合方法

说明书

本发明公开了一种数据实用流化整合分散方法，包括步骤A）：进行数据采集任务；步骤B）：将数据表结构中的全量数据打散为格数据，再将打散的全量数据存储到数据库；步骤C）：采集数据库增量数据；步骤D）：用户进行选择订阅信息；步骤E）包括数据初始化流程和数据增量流程。本发明将多张数据表进行数据打散，把数据解构到数据格级别，将不同数据表的格数据内容进行关联，实现关联订阅可对数据进行自由的组合、筛选，订阅方无需将一张数据表的全量数据订阅，只需订阅自己需要的，而且全流程的数据都进行流化处理，对数据的计算在流中处理，使采集与订阅满足实时性，订阅方可在秒内获取所需数据，既保证数据的实时性，又提高了效率。

技术领域

本发明涉及通信技术领域，尤其涉及一种数据实用流化整合分散方法。

背景技术

在信息越来越发达的今天，人们对于数据信息的获取需求随之也越来越大，尤其是互联网这张大网所笼罩下的数据大幕，越来越受到人们的重视，人们强烈呼吁传输和处理海量数据的方法技术的更迭换代，其中数据的流化分散整合处理成为了提升网络数据实时传输性能的关键技术之一。

现有的数据流化方法体现在订阅方如果想要订阅一张数据表的某一块信息，必须将数据表中的全量数据订阅，这样订阅方才能获取其关注的信息，效率低下，而对于数据整合手段仅仅是整合数据表，而整合数据表无法对数据进行分解，无法做到单独提取订阅某一块信息，而且数据表与数据表之间无法实现信息关联。

发明内容

本发明针对现有技术中的不足，提供了一种数据实用流化分散整合方法，将多张数据表进行数据打散，把数据解构到数据格级别，将不同数据表的格数据内容进行关联，实现关联订阅可对数据进行自由的组合、筛选，订阅方无需将一张数据表的全量数据订阅，只需订阅自己需要的，而且全流程的数据都进行流化处理，对数据的计算在流中处理，使采集与订阅满足实时性，订阅方可在秒内获取所需数据，既保证数据的实时性，又提高了效率。

为了解决上述技术问题，本发明通过下述技术方案得以解决：一种数据实用流化分散整合方法，包括步骤A）：进行数据采集任务，采用快照的技术，快速取出数据库中的全量数据；步骤B）：将数据表结构中的全量数据打散为格数据，再将打散的全量数据存储到数据库；步骤C）：通过读取数据库的操作记录与变更时间，采集数据库增量数据，将增量数据直接流化处理；步骤D）：用户进行选择订阅信息，该用户能自主选择所需的数据格数据，并选择计算模型来订阅计算后的信息；步骤E）包括数据初始化流程和数据增量流程，所述数据初始化流程包括以下步骤：步骤a1）：进行初始化订阅任务，将用户需订阅的相关数据从存储的数据库中筛选出来，再还原成行数据，再对行数据进行流化处理，存入订阅数据流；步骤b1）：取得订阅数据流中的全量数据，在数据流中对数据进行处理，转化成用户所需的数据；步骤c1）：进行入库任务，把流化处理后的数据处理结果存储到用户指定的数据库中；所述数据增量流程包括以下步骤：步骤a2）：进行增量订阅任务，采集到已流化的增量数据，存入订阅数据流；步骤b2）：依序取得订阅数据流中的数据，在数据流中对数据进行处理，转化成用户需要的数据，对不需要计算的数据，照原样传输；步骤c2）：进行入库任务，把流化处理后的计算结果存储到用户指定的位置中，保存到用户指定的数据库中。

上述技术方案中，优选的，所述步骤A），步骤B），步骤C），步骤D），步骤E）全流程的数据都进行流化处理，对数据的计算在流中处理，使采集与订阅满足实时性，订阅方可在秒内获取所需数据。

上述技术方案中，优选的，所述步骤A）中采用快照的技术取出数据库中的全量数据。

上述技术方案中，优选的，所述步骤B）是多张数据表进行格数据打散之后，将不同数据表的格数据内容进行关联，实现关联订阅。

上述技术方案中，优选的，所述步骤C）中的增量数据是依据数据库的操作记录与变更时间来获取，减少增量数据的数据量，提高采集效率，使数据可还原与备份任意时间点的数据。