[发明专利]数据跑批方法、装置、存储介质及集群中的成员主机

说明书

本发明公开了一种数据跑批方法、装置、存储介质及集群中的成员主机，该方法包括：获取当前任务节点对应的批量待处理数据，将所述批量待处理数据进行随机分区，获得预设数量的分区数据；根据所述预设数量的分区数据生成对应分区的子任务，将所述预设数量的所述子任务以队列形式存放至预设队列列表，并通过消息中间件发送任务处理消息至集群中的各成员主机，以使所述集群中的各成员主机监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理。基于大数据，通过集群处理大批量数据，集群中各成员主机分发任务同时也可以执行任务，实现资源的最大化使用，数据分区不依赖于数据库，可以任意扩展子任务数，加大数据的并发处理速度。

技术领域

本发明涉及大数据的技术领域，尤其涉及一种数据跑批方法、装置、存储介质及集群中的成员主机。

背景技术

目前，涉及大批量数据处理时，跑批应用单独部署，在不跑批时，跑批应用的闲置导致资源浪费；大批量任务执行时采用单线程执行，导致任务执行速度较慢；大批量任务的数据分区依赖于Oralce的哈希(hash)分区，Oralce中的一张表数据量达到亿数量级后或是单表达到2G大小，查询效率会明显下降，需要通过分区的方式，从行的维度对表进行划分，避免单表数据量过大，对于数据规律性不强，或者取值范围难以确定的，通过哈希法强行进行分区，分区个数需设置成2的幂次，扩展性不强。因此，如何提高大批量数据处理的效率及实现资源的最大化使用是亟待解决的技术问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种数据跑批方法、装置、存储介质及集群中的成员主机，旨在解决现有技术中大批量数据处理效率低及资源使用率不高的技术问题。

为实现上述目的，本发明提供一种数据跑批方法，所述数据跑批方法包括以下步骤：

获取当前任务节点对应的批量待处理数据，将所述批量待处理数据进行随机分区，获得预设数量的分区数据；

根据所述预设数量的分区数据生成对应分区的子任务，将所述预设数量的所述子任务以队列形式存放至预设队列列表，并通过消息中间件发送任务处理消息至集群中的各成员主机，以使所述集群中的各成员主机监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理。

优选地，所述根据所述预设数量的分区数据生成对应分区的子任务，将所述预设数量的所述子任务以队列形式存放至预设队列列表，并通过消息中间件发送任务处理消息至集群中的各成员主机，以使所述集群中的各成员主机监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理之后，所述数据跑批方法还包括：

当从所述预设队列列表中获取一个子任务时，对所述预设队列列表中的子任务数量进行减一，获得剩余子任务数。

优选地，所述当从所述预设队列列表中获取一个子任务时，对所述预设队列列表中的子任务数量进行减一，获得剩余子任务数之后，所述数据跑批方法还包括：

当所述剩余子任务数为零时，认定获取的子任务为最后一条子任务，对所述最后一条子任务的处理进度进行监听，在监听到所述最后一条子任务处理完时，采用集群消费方式通过所述消息中间件发送子任务全部处理完成消息至所述集群。

优选地，所述当所述剩余子任务数为零时，认定获取的子任务为最后一条子任务，对所述最后一条子任务的处理进度进行监听，在监听到所述最后一条子任务处理完时，采用集群消费方式通过所述消息中间件发送子任务全部处理完成消息至所述集群之后，所述数据跑批方法还包括：

监听到所述子任务全部处理完成消息时，判断所有子任务是否已经全部处理成功，若所有子任务已经全部处理成功，则获取下一个任务节点并执行下一个任务。