[发明专利]一种数据实用流化分散整合方法

摘要

本发明公开了一种数据实用流化整合分散方法，包括步骤A）：进行数据采集任务；步骤B）：将数据表结构中的全量数据打散为格数据，再将打散的全量数据存储到数据库；步骤C）：采集数据库增量数据；步骤D）：用户进行选择订阅信息；步骤E）包括数据初始化流程和数据增量流程。本发明将多张数据表进行数据打散，把数据解构到数据格级别，将不同数据表的格数据内容进行关联，实现关联订阅可对数据进行自由的组合、筛选，订阅方无需将一张数据表的全量数据订阅，只需订阅自己需要的，而且全流程的数据都进行流化处理，对数据的计算在流中处理，使采集与订阅满足实时性，订阅方可在秒内获取所需数据，既保证数据的实时性，又提高了效率。

主权项

1.一种数据实用流化分散整合方法，其特征在于，包括步骤A）：进行数据采集任务，取出数据库中的全量数据；步骤B）：将数据表结构中的全量数据打散为格数据，再将打散的全量数据存储到数据库；步骤C）：通过读取数据库的操作记录与变更时间，采集数据库增量数据，将增量数据直接流化处理；步骤D）：用户进行选择订阅信息，该用户能自主选择所需的数据格数据，并选择计算模型来订阅计算后的信息；步骤E）包括数据初始化流程和数据增量流程，所述数据初始化流程包括以下步骤：步骤a1）：进行初始化订阅任务，将用户需订阅的相关数据从存储的数据库中筛选出来，再还原成行数据，再对行数据进行流化处理，存入订阅数据流；步骤b1）：取得订阅数据流中的全量数据，在数据流中对数据进行处理，转化成用户所需的数据；步骤c1）：进行入库任务，把流化处理后的数据处理结果存储到用户指定的数据库中；所述数据增量流程包括以下步骤：步骤a2）：进行增量订阅任务，采集到已流化的增量数据，存入订阅数据流；步骤b2）：依序取得订阅数据流中的数据，在数据流中对数据进行处理，转化成用户需要的数据，对不需要计算的数据，照原样传输；步骤c2）：进行入库任务，把流化处理后的计算结果存储到用户指定的位置中，保存到用户指定的数据库中。