[发明专利]一种数据调度方法、装置及系统

说明书

本申请公开了一种数据调度方法、装置及系统，可应用于分布式领域或金融领域。该方法包括：数据调度端确定多种不同的待调度数据的资源调度权重，并获取多种不同的待调度数据分别对应的待调度数量；数据调度端根据资源调度权重和待调度数量，将多种不同的待调度数据依次放入调度消息队列，以便至少一个数据处理端依次从调度消息队列中获取多种不同的待调度数据，并进行调用。如此，当数据处理端从该调度消息队列中依次获取这些待调度数据后，便可基于资源调度权重对待调度数据进行调用，从而实现资源的并发访问，实现资源的合理分配，进一步提高分布式架构的执行效率。

技术领域

本申请涉及分布式技术领域，尤其涉及一种数据调度方法及装置。

背景技术

在分布式架构下，分布式应用具有可扩展性、高可靠性和高性能的特点，高性能的特点势必会产生对资源的并发访问。但是，资源是有限的，在多个需要访问资源的数据，如应用服务、任务、实体等数据访问资源时，需要对这些数据进行调度，实现资源分配。

一般来说，已有的方案大多是优先调用需要先行处理的数据，也就是将资源优先分配给需要先行处理的数据，当先行处理的数据执行完成后，再将剩余的资源分配给其他数据。而随着大数据、云计算等新兴技术的发展，分布式架构的业务量激增，如果仍然采用上述方案，那么大量需要先行处理的数据会占用过多的资源，在这种情况下，资源的有限性会导致分配给后执行的数据的资源量较少甚至无可用资源，进而导致该数据难以执行完成，从而影响分布式架构的执行效率。

发明内容

本申请实施例提供了一种数据调度方法、装置及系统，以实现资源的合理分配，从而有助于提高分布式架构的执行效率。

第一方面，本申请实施例提供了一种数据调度方法，包括：

数据调度端确定多种不同的待调度数据的资源调度权重，并获取所述多种不同的待调度数据分别对应的待调度数量；

所述数据调度端根据所述资源调度权重和所述待调度数量，将所述多种不同的待调度数据依次放入调度消息队列，以便至少一个数据处理端依次从所述调度消息队列中获取所述多种不同的待调度数据，并进行调用。

可选地，所述数据调度端根据所述资源调度权重和所述待调度数量，将所述多种不同的待调度数据依次放入调度消息队列，包括：

所述数据调度端根据所述资源调度权重，确定将所述多种不同的待调度数据分别放入所述调度消息队列时的单次允许放入数量和放入次序；

所述数据调度端根据所述待调度数量和所述单次允许放入数量，确定所述多种不同的待调度数据分别对应的当次待放入数量；

所述数据调度端按照所述当次待放入数量和所述放入次序，从所述多种不同的待调度数据中确定待放入数据放入所述调度消息队列；

当所述多种不同的待调度数据中还存在至少一种未放入所述调度消息队列的数据时，所述数据调度端将所述至少一种未放入所述调度消息队列的数据作为新的待调度数据重新确定当次待放入数量，并依据重新确定的当次待放入数量和所述放入次序，从所述新的待调度数据中确定新的待放入数据放入所述调度消息队列，循环执行直至将所述多种不同的待调度数据均放入所述调度消息队列。

可选地，所述数据调度端根据所述待调度数量和所述单次允许放入数量，确定所述多种不同的待调度数据分别对应的当次待放入数量，包括：

在所述待调度数量大于或等于所述单次允许放入数量时，所述数据调度端将所述单次允许放入数量作为所述当次待放入数量；

在所述待调度数量小于所述单次允许放入数量时，所述数据调度端将所述待调度数量作为所述当次待放入数量。

可选地，所述多种不同的待调度数据为执行同一任务的多种不同的实体数据；

所述数据调度端确定多种不同的待调度数据的资源调度权重，包括：