[发明专利]一种数据处理过程动态回溯追踪方法

说明书

技术领域

本发明涉及一种数据处理方法，尤其是指一种基于动态回溯追踪的数据处理方法。

背景技术

随着云计算、大数据技术的兴起，数据处理技术变得越发重要。如何在数据中获取有价值的信息，指导商业决策和管理，是目前热门的研究课题，而数据处理得到结果的正确性和合理性如何评判，则是目前考虑较少的。在数据处理过程中，传统的数据查询是通过数据库工具或者是数据分析工具作静态呈现，存在不能跟踪数据采集来源信息，呈现单一等问题。而信息状态查询，则是通过各个数据处理部件的工作日志做零散的记录和输出，存在着信息孤岛以及查看繁琐等问题。总而言之，传统的数据与信息呈现是静态和单一的，不能满足用户对数据系统实时查看信息状态，追踪信息来源的需求。

发明内容

本发明的目的在于提供一种基于动态回溯追踪的数据处理方法，解决现有技术的缺陷。

一种基于动态回溯追踪的数据处理方法，包括步骤：

A）采用基于多目标多特征信息融合数据关联，通过接收数据采集、数据存储、数据计算、数据呈现四个数据处理的模块提交的数据状态信息；并按照数据逻辑相关性进行过滤、去重、变更、生成关联键值、组内关联、组间关联处理；关联后的数据呈现出数据上下文的分组；

B）进行日志关联分析排序处理：首先，从各个数据处理部件收集日志，并进行汇总；其次，形成统一格式的日志事件：提取日志数据的特征数据，根据提取到的特征数据构建统一格式的日志事件；最后，通过数据查询策略，按照时间和操作事件的维度，将日志进行排序，得到数据的行为和流向记录；

C）对静态数据与日志动态关联与呈现：将静态数据处理单元得到的静态关联数据以及日志处理单元得到的数据行为和流向记录进行关联和统计处理，动态展现数据全生命周期流向和操作处理过程，满足任何时间点的数据回溯追踪，向下查看历史记录，追踪数据来源，数据操作事件，向上测数据走向以及预定数据信息展现服务。

所述A）步骤的数据状态信息包括数据来源、元数据、处理操作。

所述B）步骤的提取日志数据的特征数据为通过预设的条件或者动态配置。

所述B）步骤的数据查询策略为对事件进行交叉关联分析和事件流逻辑关联分析。

本发明通过一种在数据处理中的回溯追踪技术，能动态展现数据在数据处理中生命周期变化，追踪数据的所有操作处理，并且能给往下回顾历史数据，往上预测数据走向以及预定数据信息展现服务。当展现数据缺乏合理性时，可以回溯追踪整个数据处理过程。

数据处理过程中的回溯追踪技术，则是在传统方法的基础上，将静态数据展现与日志记录动态结合，实现动态数据和信息状态呈现。一方面，对目前的静态数据呈现作优化，优化点如下：

1、增加采集数据和存储数据之间的数据关联处理；

2、增加存储数据与处理数据流水号的关联处理；

3、增加处理数据与展现数据流水号的关联处理。

通过以上的优化，达到数据全处理过程的索引关联。

另一方面，对目前数据处理部件的日志作优化，优化点如下：

1、通过数据处理部件实行socket端口的动态监控，将各个数据处理部件的日志进行汇总；

2、建立统一日志格式；

3、对日志作关键事件、关键操作排序。

通过以上的优化，日志呈现统一、有序的组合。

在以上两方面的优化后，将静态数据和动态数据作关联处理，实现如下的功能：

1、数据按时间维度作历史时刻的动态展现。

2、数据按时间维度作预测或者定制时刻的动态展现。

3、数据按事件维度作历史时刻的动态展现。

4、数据按事件维度作预测或者定制时刻的动态展现。

展现的维度和内容可以作定制选择，内容包含而不限于：每笔处理的数据采集来源信息，数据处理事件记录（包含有具体操作、操作部件等）。

附图说明

图1为本发明的方法流程示意图。

具体实施方式

如图1所示，本发明涉及一种数据处理过程中的动态回溯跟踪方法，它包括步骤：