[发明专利]一种数据的获取方法、装置、电子设备及存储介质

说明书

本申请提供了一种数据的获取方法、装置、电子设备及存储介质，所述获取方法包括：获取待处理数据；调用第一处理程序中的第一预设处理规则对所述待处理数据进行数据处理，得到第一处理数据；检测所述第一处理数据是否满足数据处理需求，若第一处理数据不满足所述数据处理需求，基于调用接口调用第二处理程序对所述待处理数据进行数据处理，得到第二处理数据；基于第一处理数据以及所述第二处理数据，得到满足数据处理需求的目标处理数据。这样，当无法通过第一处理程序对数据进行处理时，则利用调用接口调用第二处理程序对数据进行处理，实现了利用调用接口分布式调用数据处理程序快速实现对待处理数据进行处理，提高数据处理的准确率以及效率。

技术领域

本申请涉及数据的获取技术领域，尤其是涉及一种数据的获取方法、装置、电子设备及存储介质。

背景技术

审计日志数据处理功能大多依赖于计算机编程语言(java)软件和解释器(python)脚本，基本采用流式处理模式，从最开始的数据接收，到数据处理，再到数据存储。Java程序和python脚本的处理模式缺点是在横向部署的时候配置文件和处理规则的统一和更新麻烦，且该多段处理模式需要在开源流处理平台(kafka)内暂存大于1次，多段处理流程程序出问题的几率也会增加，任何一个阶段的异常都导致最终数据异常。在数据处理中，因涉及到多个功能点和处理步骤，由多个多段处理程序进行分部进行处理，直到达到数据格式和内容要求后进入下一阶段。

但是，现阶段中在数据处理过程中采用流程性处理步骤，当流程处理步骤中任一处理步骤发生错误时，则会导致整个数据处理过程出现错误，无法进行下一步的处理步骤，因为如何减少流程步骤保证数据处理流程的流畅度是亟待解决的技术问题。

发明内容

有鉴于此，本申请的目的在于提供一种数据的获取方法、装置、电子设备及存储介质，这样，通过第一处理程序和第二处理程序对待处理数据共同处理，当无法通过第一处理程序对数据进行处理时，则利用调用接口调用第二处理程序对数据进行处理，实现了利用调用接口分布式调用数据处理程序，在保证满足数据处理需求的同时，快速实现对待处理数据进行处理，有助于提高数据处理的准确率以及效率。

本申请实施例提供了一种数据的获取方法，所述获取方法包括：

获取待处理数据；

调用第一处理程序中的第一预设处理规则对所述待处理数据进行数据处理，得到第一处理数据；

检测所述第一处理数据是否满足数据处理需求，若所述第一处理数据不满足所述数据处理需求，基于调用接口调用第二处理程序对所述待处理数据进行数据处理，得到第二处理数据；

基于所述第一处理数据以及所述第二处理数据，得到满足数据处理需求的目标处理数据。

进一步的，所述若所述第一处理数据不满足所述数据处理需求，基于调用接口调用第二处理程序对所述待处理数据进行数据处理，得到第二处理数据，包括：

将所述待处理数据基于所述调用接口传输至所述第二处理程序中，调用第二处理程序中的第二预设处理规则对所述待处理数据进行数据处理，得到第二处理数据。

进一步的，所述基于所述第一处理数据以及所述第二处理数据，得到满足数据处理需求的目标处理数据，包括：

控制第一处理程序将所述第一处理数据以及所述第二处理数据进行数据拼接处理，获得所述目标处理数据。

进一步的，所述获取方法还包括：

将所述目标处理数据与对应的数据处理需求进行关联设置，并将所述目标处理数据以及对应的数据处理需求进行存储。

进一步的，所述获取方法还包括：