[发明专利]数据模式变更检测方法、装置、设备及可读存储介质

说明书

本发明公开了一种数据模式变更检测方法、装置、设备及可读存储介质，涉及数据处理技术领域，可以根据该业务系统的数据模式规则，检测业务系统中的目标数据流的数据模式是否发生变更，使得可以自动对目标数据流的数据模式进行检测，减少开发人员工作量，降低了后续进行数据处理所发生错误的风险的。所述方法包括：当检测到业务系统启动时，提取业务系统的数据模式规则；在业务系统中获取目标数据流，按照至少一个未知数的指示，将目标数据流填入数据模式规则中；如果将目标数据流输入至数据模式规则后，数据模式规则不成立，则确定目标数据流的数据模式发生变更，生成目标数据流的错误信息。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据模式变更检测方法、装置、设备及可读存储介质。

背景技术

随着互联网技术的飞速发展，数据处理技术日益改进，在一般的实时数据处理场景下，业务系统会打印出用户的摘要日志，比如操作日期、订单类型、下单金额、优惠金额以及实付金额等，随后，根据数据报表所关注的内容书写一段实时计算逻辑，比如如果关注的内容为下单金额，则书写的实时计算逻辑可为分钟级别下单金额累计逻辑，这样，后续便可以基于该实时计算逻辑对下单金额进行数据处理，从而生成数据报表。在实际应用的过程中，业务系统打印得到的摘要日志的格式与实时计算逻辑的代码是一一对应的，如果摘要日志中的数据模式发生了变更，比如原先的下单金额字段与实付金额字段位置发生了变化，则实时计算逻辑根据摘要日志生成的数据报表就是错误的。为了避免上述情况的发生，需要对摘要日志的数据模式是否发生变更进行检测，以便及时调整实时计算逻辑，保证生成的数据报表的正确性。

相关技术中，在对摘要日志的数据模式是否发生变更进行检测时，通常是需要开发人员肉眼观察摘要日志的数据模式，并及时按照变更后的数据模式对实时计算逻辑进行调整。但是有些情况下，开发人员的肉眼可能很难发现数据模式的变更，比如摘要日志包括操作日期、订单类型、下单金额、红包金额、平台补贴金额、优惠金额以及实付金额时，其中红包金额与平台补贴金额的数据很相似，如果红包金额与平台补贴金额的数据模式发生了变更，则开发人员就很难肉眼检测出来，在增加了开发人员工作量的同时，还提高了后续进行数据处理所发生错误的风险。

发明内容

有鉴于此，本发明提供了一种数据模式变更检测方法、装置、设备及可读存储介质，主要目的在于解决目前增加了开发人员工作量的同时，还提高了后续进行数据处理所发生错误的风险的问题。

依据本发明第一方面，提供了一种数据模式变更检测方法，该方法包括：

当检测到业务系统启动时，提取所述业务系统的数据模式规则，所述数据模式规则中的至少一个未知数规定了所述业务系统的数据流中数据列之间的关联关系；

在所述业务系统中获取目标数据流，按照所述至少一个未知数的指示，将所述目标数据流填入所述数据模式规则中；

如果将所述目标数据流输入至所述数据模式规则后，所述数据模式规则不成立，则确定所述目标数据流的数据模式发生变更，生成所述目标数据流的错误信息。

在另一个实施例中，所述当检测到业务系统启动时，提取所述业务系统的数据模式规则之前，包括：

在所述业务系统中获取历史数据，对所述历史数据进行预处理，生成样本数据，所述预处理至少为数值化处理或聚类处理；

确定预设算法，获取所述预设算法的序列式，所述预设算法至少为逻辑回归算法，所述序列式包括至少一个系数以及至少一个未知数；

在所述样本数据中提取至少一个样本数据列，将所述至少一个样本数据列带入所述至少一个未知数在所述序列式中指示的位置，计算所述序列式中至少一个系数的系数取值，所述至少一个系数的系数取值使带入所述至少一个样本数据列的序列式成立；

将所述至少一个系数的系数取值填入所述序列式，基于所述至少一个未知数和所述至少一个系数的系数取值，生成所述数据模式规则。