[发明专利]一种批处理任务的触发方法、系统及计算机可读存储介质

权利要求书

1.一种数据处理系统，其特征在于，所述数据处理系统设置有数据处理架构，所述数据处理架构包括：

实时处理层，用于实时接收第一待处理数据，对所述第一待处理数据进行复制得到第二待处理数据；确定当前批处理任务对应的全部第二待处理数据是否已经接收完毕，若是，则生成事件通知消息；

批处理层，与所述实时处理层连接，用于在接收到所述事件通知消息后，对接收到的所有所述第二待处理数据进行处理，以执行所述当前批处理任务。

2.根据权利要求1所述的数据处理系统，其特征在于，

所述实时处理层包括互相连接的数据流转模块与事件触发模块，所述数据流转模块用于实时接收所述第一待处理数据，对所述第一待处理数据进行复制得到第二待处理数据，并将所述第一待处理数据发送至所述批处理层以及所述事件触发模块；所述事件触发模块用于基于所述第一待处理数据确定是否接收完所述当前批处理任务对应的全部所述第二待处理数据。

3.根据权利要求2所述的数据处理系统，其特征在于，

所述事件触发模块还用于对预设时间段内接收到的所述第一待处理数据的数量进行统计，判断所述第一待处理数据的数量是否等于预设数量，若是，则生成所述事件通知消息。

4.根据权利要求3所述的数据处理系统，其特征在于，

所述预设时间段包括起始时间与结束时间，所述起始时间为所述当前批处理任务的上一批处理任务的数据接收结束时间，所述结束时间为所述当前批处理任务的数据接收结束时间。

5.根据权利要求1所述的数据处理系统，其特征在于，

所述数据处理架构还包括事件中心，所述事件中心与所述实时处理层连接，用于在接收所述事件通知消息后，向所述批处理层推送所述事件通知消息。

6.根据权利要求5所述的数据处理系统，其特征在于，

所述批处理层包括事件订阅模块，所述事件订阅模块与所述事件中心连接，用于向所述事件中心发送订阅请求，以使得所述事件中心向所述事件订阅模块推送所述事件通知消息。

7.根据权利要求1所述的数据处理系统，其特征在于，

所述实时处理层还包括实时指标计算模块，所述实时指标计算模块用于对所述第一待处理数据进行实时计算，得到第一计算结果，并将所述第一计算结果持久化到实时计算结果集中。

8.根据权利要求1所述的数据处理系统，其特征在于，

所述批处理层还包括批指标计算模块，所述批指标记算模块用于对预设时间内接收到的所述第二待处理数据进行实时计算，得到第二计算结果，并将所述第二计算结果持久化到批计算结果集中。

9.根据权利要求8所述的数据处理系统，其特征在于，

所述批处理层还包括数据库，所述数据库与所述批指标计算模块以及数据流转模块连接，用于接收所述数据流转模块发送的所述第二待处理数据，并进行存储。

10.根据权利要求1所述的数据处理系统，其特征在于，

所述数据处理架构还包括服务层，所述服务层用于存储批计算结果集与实时计算结果集，在获取到第二计算结果后，对与所述第二计算结果对应的第一计算结果进行修正。

11.一种批处理任务的触发方法，其特征在于，应用于数据处理系统，所述数据处理系统布置有数据处理架构，所述数据处理架构包括实时处理层与批处理层，所述方法包括：

利用所述实时处理层实时接收第一待处理数据，对所述第一待处理数据进行复制得到第二待处理数据；确定当前批处理任务对应的全部第二待处理数据是否已经接收完毕，若是，则生成事件通知消息；

利用所述批处理层在接收到所述事件通知消息后，对接收到的所有所述第二待处理数据进行处理，以执行所述当前批处理任务。

12.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序在被处理器执行时，用于实现权利要求11所述的批处理任务的触发方法。