[发明专利]一种利用数据结构控制的数据处理与数据分析框架

说明书

本发明提供了一种利用数据结构控制数据处理与数据分析过程的技术框架，框架名称：Hyong，属于大数据框架技术领域。基于业务的数据分析过程是由数据处理过程在数据运算层面来实现的,同时，数据处理和数据分析过程都需要一系列标准化的控制和保护机制。通过对数据处理和数据分析过程的高度抽象，把两个过程的控制和保护以数据结构的方式进行封装。通过开发实施Hyong技术框架，可以把数据处理和数据分析流程以系统化的方式进行整合，并利用基础的数据结构的方式来执行控制，使技术框架具有极高的通用性和极佳的性能表现。

技术领域

本发明涉及数据处理和数据分析过程控制技术领域，具体涉及一种利用数据结构控制的数据处理与数据分析框架。

背景技术

数据分析和数据处理各自使用所属领域的专业软件(系统)来完成专业的技术任务，比如数据分析使用SAS、SPSS和MATLAB等专业软件，而数据处理使用Spark、Storm和Hadoop等计算框架。

随着商业数据分析和信息化技术的高速发展,基于业务的数据分析技术和基于信息理论的数据处理技术逐步进入高度融合阶段。传统的商业分析是由专业的分析软件来完成建模和分析过程，而数据处理技术则是由独立的数据处理系统或者计算框架来实现，这两个过程在现有技术框架中都是独立控制和执行的。两种软件系统如果简单的融合，会产生系统间的通信开销和任务调度消耗。

发明内容

针对上述现有技术，本发明目的在于提供一种利用数据结构控制的数据处理与数据分析框架，解决现有技术数据处理框架由于结构和协议的局限性而导致的可扩展性差，和解决如何融合数据处理输出和数据分析输入以提高匹配性等技术问题。

为达到上述目的，本发明采用的技术方案如下：

一种利用数据结构控制的数据处理方法，包括以下步骤：

步骤1、定义源数据的元数据和定义源数据数据流操作的结构化抽象；

步骤2、选择源数据的计算框架，在该计算框架内，定义源数据数据流操作的控制方式和保护机制，控制方式和保护机制作为流程协议的元语；

步骤3、至少将元数据、结构化抽象和流程协议元语封装在同种数据结构中；

步骤4、按元数据定义将源数据抽取至计算框架内，通过数据结构解析流程协议元语为计算框架的参数，确定运算的模式和通道后在计算框架内执行运算，获得结果集合。

上述方法中，所述的步骤4，包括以下步骤：

步骤4.1、按元数据定义将源数据抽取至计算框架内，再利用数据结构序列化转化数据结构中的流程协议元语为计算框架的参数；

步骤4.2.1、从简单运算模式、复杂运算模式、算法运算模式和/或其他运算模式这些模式中确定运算的模式；

步骤4.2.2、从正常通道、链式通道、并行通道和/或交叉通道这些通道中确定运算的通道；

步骤4.3、调用预定配置信息，执行运算，获得结果集合。

上述方法中，所述的步骤4.3，还包括建立错误保护机制。

上述方法中，所述的步骤4.3，还包括设置结果集合的校验规则，通过校验规则的结果集合作为步骤4.3的有效结果集合。

上述方法中，所述的步骤4，还包括执行数据加密、传输加密、身份认证和/或数据脱敏这些安全策略。

一种利用数据结构控制数据处理的数据分析方法，包括以下步骤：

步骤1、定义源数据的元数据和定义源数据数据流操作的结构化抽象；

步骤2、选择源数据的计算框架，在该计算框架内，定义源数据数据流操作的控制方式和保护机制，控制方式和保护机制作为流程协议的元语；