[发明专利]一种数据处理方法及相关产品

说明书

本申请公开了一种数据处理方法及相关产品，可应用于大数据领域或金融领域。该方法包括：事件发布端获取流水线中多个事件的执行顺序；事件发布端基于执行顺序，将多个事件分别发送至消息队列，以便分别订阅多个事件的多个事件订阅端基于执行顺序获取订阅的事件并执行；在多个事件均执行结束时，事件发布端获取事件执行结果。如此，通过事件发布端和事件订阅端之间的交互，便可实现流水线中各个事件的顺序执行，而无需创建新的进程或者线程来处理事件，从而可以高效、方便地执行流水线，提高执行效率。

技术领域

本申请涉及大数据技术领域，尤其涉及一种数据处理方法及相关产品。

背景技术

近年来，随着大数据、云计算等新兴技术的发展，大多数企业可以将研发运维环节中的各种业务场景，如开发、编译、出包、测试、部署等场景所对应的事件按照一定的顺序进行编排而形成流水线，通过执行流水线，来实现对多个有序、独立的事件的执行。举例来说，可以将测试部署事件、人工验证事件、迁移发布事件顺序编排而得到流水线的一部分。当测试部署事件通过之后，流水线可以继续流转到人工验证事件；当人工验证事件通过后，流水线可以进一步再流转到迁移发布事件。

但是，每次执行流水线时，都需要创建一个新的进程或者线程来执行事件。创建新的进程这种方式，开销较大，且容易降低服务器性能。创建新的线程这种方式，则又需要考虑到线程安全问题，程序较为复杂。可见，已有的流水线执行方式存在较多缺陷，导致执行效率不佳。

发明内容

本申请实施例提供了一种数据处理方法及相关产品，可以高效、方便地执行流水线，提高执行效率。

第一方面，本申请实施例提供了一种数据处理方法，包括：

事件发布端获取流水线中多个事件的执行顺序；

所述事件发布端基于所述执行顺序，将所述多个事件分别发送至消息队列，以便分别订阅所述多个事件的多个事件订阅端基于所述执行顺序获取订阅的事件并执行；

在所述多个事件均执行结束时，所述事件发布端获取事件执行结果。

可选地，所述多个事件包括至少一个阶段事件、所述至少一个阶段事件包含的至少一个任务事件、所述至少一个任务事件分别包含的至少一个插件事件；

所述事件发布端基于所述执行顺序，将所述多个事件分别发送至消息队列，以便分别订阅所述多个事件的多个事件订阅端基于所述执行顺序获取订阅的事件并执行，包括：

所述事件发布端基于预先设置的阶段执行顺序，从所述至少一个阶段事件中，确定当次阶段事件发送至所述消息队列，以便订阅所述当次阶段事件的第一事件订阅端获取所述当次阶段事件，并执行；

以所述第一事件订阅端作为新的事件发布端，将所述当次阶段事件包含的至少一个当次任务事件发送至所述消息队列，以便订阅所述至少一个当次任务事件的第二事件订阅端获取所述至少一个当次任务事件，并以并行执行的方式执行所述至少一个当次任务事件；

以所述第二事件订阅端作为新的事件发布端，按照预先设定的插件执行顺序，将所述至少一个当次任务事件包含的当次插件事件发送至所述消息队列，以便订阅所述至少一个当次插件事件的第三事件订阅端按照所述插件执行顺序获取所述至少一个当次插件任务，并执行。

可选地，所述第二事件订阅端作为新的事件发布端，按照预先设定的插件执行顺序，将所述至少一个当次任务事件包含的当次插件事件发送至所述消息队列之后，所述方法还包括：

所述事件发布端基于所述阶段执行顺序，从所述至少一个阶段事件中，确定新的阶段事件，并发送至所述消息队列，以便订阅所述新的阶段事件的第四事件订阅端继续获取所述新的阶段事件并执行，以此循环直至所述多个事件均执行完毕。

可选地，所述在所述多个事件均执行结束时，所述事件发布端获取事件执行结果，包括：