[发明专利]一种基于大数据模型平台下的细粒度数据溯源方法

说明书

技术领域

本发明涉及一种数据溯源方法，尤其是一种基于大数据模型平台下的细粒度数据溯源方法。

背景技术

近些年随着计算机和移动互联网的发展，各种信息呈爆炸式的增长，这些信息基本可以分成两类，一类是原始的录入数据，另一类是由这些数据经过若干处理派生出来的数据。但是一般暴露给用户的往往是结果数据，这些数据对于使用者来说，其处理过程或者说可信度来说是不得而知的，而有时候结果数据和原始数据没有任何关系，这就使得用户必须去关心结果数据的来源，因此产生了数据溯源技术。

数据溯源是对数据起源和数据产生过程的描述，这些信息在很多方面发挥着重要的作用，例如调试数据和转换、审计、评估数据的质量和信任度以及实现对数据的访问控制等方面。数据溯源可以分为粗粒度溯源和细粒度溯源，在细粒度溯源方面，国内研究相对较少。

传统的细粒度数据溯源方法主要集中在数据库领域，其解决方法是通过增加标记字段来记录数据库中每一项的处理传播过程，而在大数据平台下，不管是源数据还是结果数据，都存储在HDFS上，无法直接对每个输入数据项进行注释。因此本发明提出一种针对大数据模型平台的细粒度数据溯源方法。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于大数据模型平台的细粒度数据溯源方法，能够解决在大数据模型平台下数据溯源过程中的数据依赖区分问题。

本发明的目的是通过以下技术方案来实现的，一种基于大数据模型平台的细粒度数据溯源方法，包括以下步骤：

S1：模型工作流分析，在Hadoop平台下对Oozie引擎所构成的模型工作流的分析，主要分析工作流中的输入、输出以及大数据处理框架的数据处理过程；

S2：细粒度溯源定义，以一种递归的形式表示工作流的细粒度数据溯源；

S3：溯源信息捕获，在模型执行过程中，动态地产生并获取溯源信息；

S4：溯源标记存储，对捕获的溯源信息以关联形式在HDFS上存储；

S5：溯源追踪，用来追溯产生结果数据文件中的细粒度数据项的来源输入数据项。

所述的模型工作流是在Hadoop平台上由控制流节点和动作节点组成的工作流，并由Hadoop Oozie工作流引擎服务器解释执行。

所述的细粒度溯源定义，通过给定一个大数据平台下的工作流W，并用一个四元组表示为W＝{I,O,M,P}，其中I表示该工作流的输入集I＝{i₁,i₂...i_n}，其中i表示输入文件中单个输入项；O表示工作流的输出集O＝{o₁,o₂...o_n}，其中o表示输出文件中单个输出项；M表示工作流中的模型集M＝{m₁,m₂...m_n}，其中m表示工作流中任意模型；P表示工作流的细粒度数据溯源操作。

所述溯源信息捕获，通过对模型处理框架扩展，并加入溯源信息的产生和传递功能，使在模型执行过程中产生的溯源信息在工作流处理模型中传递。

所述溯源标记存储，通过使用中间标识来对每个模型的输入和输出项之间建立关联，并将溯源信息的关联以文件的形式存储在HDFS上。

所述溯源追踪，基于溯源存储文件，并以一种递归的方式对任意结果数据项来追踪产生其的所有相关输入项，溯源追踪的粒度基于行级数据项。

所述的模型工作流中的控制节点不对数据产生影响，因此主要分析动作节点如MapReduce、Hive、Spark等。

所述的细粒度溯源定义包括以下子步骤：

S21：单个模型溯源表示：假设工作流中任何一个模型转换表示为T，给定一个转换实例T(I)＝O，输入集为I，单个的输出元素o∈O，细粒度溯源需要能够确定出那些贡献给输出元素o的输入子集

S22：工作流溯源表示：工作流溯源是对当前工作流中涉及到所有模型转换的溯源，并用递归方式表示方式根据单个转换溯源，工作流W的溯源用P_w表示，工作流W中的任何单个原始e的溯源表示为P_w(e)，若e为初始输入元素，即e∈I_k，那么P_w(e)＝{e}，否则假设T作为输出e的转换，P_T(e)作为e的一级溯源，递归表示为

所述的溯源信息捕获包括以下子步骤：