[发明专利]一种批处理任务的触发方法、系统及计算机可读存储介质

说明书

本申请公开了一种批处理任务的触发方法、系统及计算机可读存储介质，该数据处理系统设置有数据处理架构，数据处理架构包括：实时处理层与批处理层，实时处理层用于实时接收第一待处理数据，对第一待处理数据进行复制得到第二待处理数据；确定当前批处理任务对应的全部第二待处理数据是否已经接收完毕，若当前批处理任务对应的全部第二待处理数据已经接收完毕，则生成事件通知消息；批处理层与实时处理层连接，用于在接收到事件通知消息后，对接收到的所有第二待处理数据进行处理，以执行当前批处理任务。通过上述方式，本申请能够缩短批处理任务的延迟时间。

技术领域

本申请涉及大数据技术领域，具体涉及一种批处理任务的触发方法、系统及计算机可读存储介质。

背景技术

目前大数据技术已经越来越成熟，实时计算与离线计算的框架也趋于成熟，实时计算能第一时间得到结果，但是由于实时数据的乱序、重复发送或漏发等诸多因素，可能导致实时计算的结果不精确；离线计算恰好相反，时效性非常低，有的甚至延迟1天、1周或一个月计算，数据的乱序或重复发送等一些问题可以在这个缓冲时间内处理，处理的准确度高，因此流批一体成为发展方向，但目前的流批一体存在实时计算与离线计算相互隔离以及离线计算的延迟较长的问题。

发明内容

本申请提供一种批处理任务的触发方法、系统及计算机可读存储介质，能够缩短批处理任务的延迟时间。

为解决上述技术问题，本申请采用的技术方案是：提供一种数据处理系统，该数据处理系统设置有数据处理架构，数据处理架构包括：实时处理层与批处理层，实时处理层用于实时接收第一待处理数据，对第一待处理数据进行复制得到第二待处理数据；确定当前批处理任务对应的全部第二待处理数据是否已经接收完毕，若当前批处理任务对应的全部第二待处理数据已经接收完毕，则生成事件通知消息；批处理层与实时处理层连接，用于在接收到事件通知消息后，对接收到的所有第二待处理数据进行处理，以执行当前批处理任务。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种批处理任务的触发方法，该方法应用于数据处理系统，该数据处理系统布置有数据处理架构，数据处理架构包括实时处理层与批处理层，该方法包括：利用实时处理层实时接收第一待处理数据，对第一待处理数据进行复制得到第二待处理数据；确定当前批处理任务对应的全部第二待处理数据是否已经接收完毕，若当前批处理任务对应的全部第二待处理数据已经接收完毕，则生成事件通知消息；利用批处理层在接收到事件通知消息后，对接收到的所有第二待处理数据进行处理，以执行当前批处理任务。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的批处理任务的触发方法。

通过上述方案，本申请的有益效果是：实时处理层负责实时接收第一待处理数据，对第一待处理数据进行复制得到第二待处理数据，且实时处理层可以确定批处理层执行当前批处理任务所需的第二待处理数据是否全部获取到，如果获取到当前批处理任务对应的全部第二待处理数据后，则生成事件通知消息，并将该事件通知消息发送给批处理层，从而使得批处理层根据获取到的全部第二待处理数据来执行当前批处理任务。通过建立实时处理层与批处理层之间的联系，使得实时处理层具备触发批处理层执行当前批处理任务的能力，而非采用定时触发当前批处理任务的触发方式，打破了实时处理层和批处理层的隔离，使得实时处理层和批处理层能够进行组合，可以适应更多的场景，缩短传统Lambda架构的离线计算的延时，让离线的批处理任务的执行更加实时；而且第一待处理数据和第二待处理数据同步，不会出现数据不一致的问题。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的Lambda架构的结构示意图；