[发明专利]一种数据处理方法和系统

说明书

本申请提供了一种数据处理方法和系统，其中，该方法包括：从至少两个待对比系统的日志文件中采集数据；按照键值对采集的数据进行归并聚合处理，其中，所述键值用于唯一标识一条数据；对归并聚合处理后的数据进行差异度计算，并将满足预设要求的差异度结果写入数据库中；根据键值与业务问题之间的对应关系，确定差异度结果所对应的业务问题。通过本申请的方案可以基于键值查找到对应的问题数据，且是在数据写数据库之前进行的操作，实时性更高。

技术领域

本申请属于计算机技术领域，尤其涉及一种数据处理方法和系统。

背景技术

目前，为了实现系统间数据的对比，不同的业务团队一般采用各自的对比工具进行对比，且一般都是基于DB(数据库)的对比需求，功能都是相似的，即，单纯基于数据库中所存储的数值或者字符型的比较。这就导致，对于每一项业务，或者每一个团队而言，如果需要对比，就需要重新做一个工具来进行对比，工作重复性太高，对比软件的通用性太低，且软件的生存期和使用频率很低，且实时性很差。

针对现有数据对比系统所存在的通用性低、实时性差的问题，目前尚未提出有效的解决方案。

发明内容

本申请目的在于提供一种数据处理方法和系统，可以实现实时高效地进行数据对比。

本申请提供一种数据处理方法和系统是这样实现的：

一种数据处理方法，所述方法包括：

从至少两个待对比系统的日志文件中采集数据；

按照键值对采集的数据进行归并聚合处理，其中，所述键值用于唯一标识一条数据；

对归并聚合处理后的数据进行差异度计算，并将满足预设要求的差异度结果写入数据库中；

根据键值与业务问题之间的对应关系，确定差异度结果所对应的业务问题。

一种数据处理系统，包括：

采集模块，用于从至少两个待对比系统的日志文件中采集数据；

匹配模块，用于按照键值对采集的数据进行归并聚合处理，其中，所述键值用于唯一标识一条数据；

规则引擎模块，用于对归并聚合处理后的数据进行差异度计算，并将满足预设要求的差异度结果写入数据库中；

搜索模块，用于根据键值与业务问题之间的对应关系，确定差异度结果所对应的业务问题。

一种终端设备中，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现如下步骤：

从至少两个待对比系统的日志文件中采集数据；

按照键值对采集的数据进行归并聚合处理，其中，所述键值用于唯一标识一条数据；

对归并聚合处理后的数据进行差异度计算，并将满足预设要求的差异度结果写入数据库中；

根据键值与业务问题之间的对应关系，确定差异度结果所对应的业务问题。

一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现如下步骤：

从至少两个待对比系统的日志文件中采集数据；

按照键值对采集的数据进行归并聚合处理，其中，所述键值用于唯一标识一条数据；

对归并聚合处理后的数据进行差异度计算，并将满足预设要求的差异度结果写入数据库中；

根据键值与业务问题之间的对应关系，确定差异度结果所对应的业务问题。