[发明专利]一种基于分层框架的数据智能分流方法、系统及装置

说明书

本申请公开了一种基于分层框架的数据智能分流方法、系统、装置以及存储介质，用于对数据进行分流入库，提高数据分流效率并实现更细粒度的数据分流。本申请方法包括：获取目标数据，并通过预设的分流规则、分流算法以及分流模型对所述目标数据进行分析，并生成分流信息；根据所述分流信息生成分流指令，并将所述分流指令传输至预配置的数据分层框架中的目标分流执行器；通过所述目标分流执行器根据所述分流指令在所述数据分层框架中的两个相邻分流层之间对所述目标数据进行分流，所述数据分层框架中预配置有多个分流层，所述分流层用于对数据进行分流。

技术领域

本申请涉及数据处理领域，尤其涉及一种基于分层框架的数据智能分流方法、系统、装置及存储介质。

背景技术

迄今为止，全球数据存量已经达到40ZB(1ZB＝十万亿亿字节，Zettabyte)，并持续保持每2年增长约一倍的趋势；数据具备数据产生源头多、数据类型多样、数据价值密度低等特性，为了进行数据资产化和价值挖掘利用，逐步出现了数据仓库(Data Warehouse)、数据湖(Data Lake)、数据中台(Data Middle Office)、数据经纬(Data Fabric)等数据汇聚技术，通过数据汇聚和数据分发来挖掘数据价值，从而实现资产价值化。

而由于数据类型多样，数据需要依据其类型，在不同类型的数据存储系统中存储，例如从数据的结构维度区分，数据可以分为结构化数据、半结构化数据和非结构化数据三种类型。为了提升数据读写速度，根据数据落地的底层存储介质，又可以分为内存数据存储系统和非内存数据存储系统，例如Redis、Zookeeper、Etcd是典型的内存存储系统。为了确保数据的去中心化、可追溯、不易篡改和无法抵赖，可以采用IPFS/Filecoin/Ethereum等区块链方式存储。

在将数据从数据源写入数据存储系统时，一般会根据业务预先确定数据特性，包括数据类型、数据生产速度、数据用途等，进而根据数据特性，通过计算机程序写入特定数据存储系统。

在根据数据特性并通过计算机程序写入特定数据存储系统时，传统的做法一般都是人工进行数据特性分析，然后通过计算机编程或配置的方式，将粗粒度的数据源固化写入特定数据存储系统，当业务发生变化，而需要将某数据源写入其它数据存储系统时，通常需要人工再次介入，进行写入的再次指定。这种做法存在的问题包括：需要人工介入进行数据特性分析和计算机编程或配置；在有限人工投入的情况下，只能做到粗粒度的数据源分流，而不能进行细粒度的数据分流；当数据特性发生变化，而需要写到其它数据存储系统时，需要再次人工介入进行特性分析和程序编程或配置，导致人力投入大和时效性差等问题。

发明内容

为了解决上述技术问题，本申请提供了一种基于分层框架的数据智能分流方法、系统、装置及存储介质。

本申请第一方面提供了一种基于分层框架的数据智能分流方法，所述方法包括：

获取目标数据，并通过预设的分流规则、分流算法以及分流模型对所述目标数据进行分析，并生成分流信息；

根据所述分流信息生成分流指令，并将所述分流指令传输至预配置的数据分层框架中的目标分流执行器；

通过所述目标分流执行器根据所述分流指令在所述数据分层框架中的两个相邻分流层之间对所述目标数据进行分流，所述数据分层框架中预配置有多个分流层，所述分流层用于对数据进行分流。

可选的，所述数据分层框架中的多个分流层通过时间的先后关系进行配置。

可选的，当分流层对目标数据进行分流时，在所述数据分层框架中，任意一个层中的一组或者多组数据被分流至相邻层中的一组或者多组数据中。

可选的，所述根据预设的分流规则对所述目标数据进行分析，并生成分流信息包括：

对所述目标数据的数据结构进行分析，并根据所述数据结构生成分流信息；

或\和