[发明专利]一种B2B平台分布式应用调度与资源分配方法

摘要

一种B2B平台分布式应用调度与资源分配方法，包括如下步骤：定时任务，系统可使用消息传递代替部分使用作业的场景；将待处理的数据放入队列表，然后使用频率极短的定时任务拉取队列表的数据并处理；将B2B平台的日志处理资源分配，对B2B平台所有的日志处理与数据处理时，资源的调度和程序的统一运行达到了统一的分配；所有输入的程序先向该全局资源管理器申请资源，申请成功之后，再由集群的节点中的自身的调度器决定资源交由哪个可用的节点，并分配任务使用；通过三种调度器的调度，按照先进先出的方式处理应用；队列设定最大提交的应用数量和占用资源的百分比；在分布式应用调度与自动资源分配上有显著的效果。

主权项

1.一种B2B平台分布式应用调度与资源分配方法，其特征在于：包括如下步骤：/n（1）定时任务，系统可使用消息传递代替部分使用作业的场景；通过队列列表；将待处理的数据放入队列表，然后使用频率极短的定时任务拉取队列表的数据并处理；这种情况使用消息中间件的推送模式能更好的处理实时性数据；而且基于数据库的消息存储吞吐量远远小于基于文件的顺序追加消息存储；将B2B平台的日志处理资源分配，对B2B平台所有的日志处理与数据处理时，资源的调度和程序的统一运行达到了统一的分配；/n（2）所有输入的程序先向全局资源管理器申请资源，申请成功之后，再由集群的节点中的自身的调度器决定资源交由哪个可用的节点，并分配任务使用，包括资源的内存、CPU、网络IO不同；所有程序运行在同一个集群中，通过资源隔离容器避免任务之间由资源争用导致效率下降；采用静态资源分配，将各种框架部署到同一个集群中，进行统一管理和调度，因各种作业交错且作业提交频率大幅度升高，所以提高了资源利用率；/n（3）通过三种调度器的调度，按照先进先出的方式处理应用；当只有一个队列提交应用，所有用户提交到这个队列；针对这个队列设置ACL，没有应用优先级能够配置；多队列调度，每个队列限制资源使用量；但是，队列间的资源分配以使用量作排列依据，使得容量小的队列有竞争优势，集群整体吞吐较大；延迟调度机制使得应用能放弃跨机器或者跨机架的调度机会，争取本地调度；第一种调度器，按照先进先出的方式处理应用，对先进入队列的数据具有最高优先级，第二种调度器，按照容量大小进行调度，队列进入容量 大的和容量小的，按不同容量大小的数据进行并发处理，第三种调度器，通过公平调度原则，当前队列自动根据所需资源大小进行分配并发调度；/n（4）队列设定最大提交的应用数量和占用资源的百分比；如果加入不同的计算框架，AM的分配会不一致，所以这里使用最小容器分配额度来计算；计算AM的内存使用量来控制；/n（5）不同队列之间，按照队列的资源使用比排序；同一队列中的应用按照应用id排序，也就是先进先出；当调度次数小于本地延迟调度次数的时候不接受机架调度；本地延迟调度次数，默认是-1，不开启延迟调度；任意调度的延迟调度上限是应用申请的机器的数量；/n（6）计算比较是否需要资源，即资源使用量小于资源需求量且小于最小共享量；如果两者都需要资源，计算资源分配比=资源使用量/Min；资源分配比较小的优先；如果一个需要，一个不需要，需要的优先；如果两者都不需要资源，计算使用权值比=资源使用量/权值；使用权值比较小的优先。/n