[发明专利]一种多租户大数据平台的租户优先级管理方法及系统

说明书

本发明公开的一种多租户大数据平台的租户优先级管理方法，包括以下步骤：初始化租户优先级管理器，租户优先级管理器由资源请求等待队列和径向基神经网络组成；在集群负载较轻时，每个租户的资源请求都可以得到满足，此时不启动租户优先级管理器；当租户的资源请求无法得到满足时，通过租户优先级管理器收集租户的资源请求并将相应信息放入资源请求等待队列；若租户需要提高资源请求优先级，向租户优先级管理器发出申请，租户优先级管理器调用径向基神经网络计算出租户资源请求优先级，然后生成判断文档交由系统管理员辅助判断。与传统的多租户大数据平台的资源分配策略相比，本发明可以有效地解决多租户大数据平台的租户优先级处理方面的弊端。

技术领域

本发明涉及大数据平台领域，特别涉及一种多租户大数据平台的租户优先级管理方法及系统。

背景技术

时至今日，大数据平台技术已经应用于大小企业的方方面面。越来越多的企业也已经构建了自己的大数据平台，用于运行企业内部的大数据应用。传统上的企业内部的大数据平台通常是每个部门使用本部门的私有集群满足计算或存储需求，这将带来三个方面的挑战：一是集群整体的资源利用率较差；二是企业管理者对整个集群的管理负担较重；三是各个部门之间的数据共享会变的更加复杂。

面对上述三个问题，面向Hadoop大数据平台的多租户(multi-tenant)技术便应运而生。Hadoop作为一个开源大数据框架，因为其强大的负载均衡机制和可扩展性占据了非常多的市场份额。虽然一个面向Hadoop大数据平台的多租户系统可以集成Hadoop的优点：如部署大数据处理组件Hive、Spark、Storm等处理数据，使用MapReduce分布式计算框架进行作业的运算。同时该系统为多个租户共享集群资源提供了可能：一个完整的多租户系统允许每个有相应权限的租户在整个集群上，统一、交互的和实时的处理同一份数据，或者利用被授权的部分或整体计算资源(CPU、内存等)来运行租户个人的作业。多租户技术的出现一定程度上解决了大数据集群内部的数据共享与隔离、资源共享与隔离问题，然而，在集群资源有限的情况下，如何保证重要租户的计算能力，让大数据平台更高效的完成各个租户的任务——集群资源的优先级管理成为了一个至关重要的问题。

通常，在面向Hadoop大数据平台的多租户系统中，使用的是Hadoop YARN将整个集群的资源统一调度和管理。YARN是一种集成在Hadoop内部的资源管理器实现的。根据资源需求和可用性，YARN提供了三种调度策略：先进先出调度策略(FIFO Scheduler)、容量调度策略(Capacity Scheduler)和公平调度策略(Fair Scheduler)。其中，容量调度策略和公平调度策略由于其不会因为长耗时作业而导致其他作业饿死而广泛应用于多租户系统中。那么，在企业级的大数据平台的多租户系统中，使用YARN将整个集群的资源统一调度和管理却不能解决不同租户之间作业的优先级问题(尽管在公平调度策略下，租户也需要等待一个时间段才能顺利分配到所需资源)，对于急需完成的任务会因为资源不足而无法及时交付。其次，由于YARN的资源预留机制，每个租户都有权将各自的作业上传至YARN管理，而不考虑当前资源是否可用，根据YARN的机制则会接受这些作业并挂起。当挂起的作业过多时，会导致整个集群的工作效率极速下降，严重时甚至导致部分节点宕机。使用YARN作为集群资源的总调度器弊端日益明显。

另外，在现代化的企业内部，由于复杂产品的开发涉及到不同部门的不同人员在完成一系列任务时的协作，各个部门(租户)之间的资源需求与权限变化较大。使用一个固定的调度策略并不足以应对所有的突发情况，因此需要一种有效的机制来分析这些租户资源请求，然后根据它们当前的时效性特点确定各个租户的资源请求的优先级。在上述传统的资源请求优先级管理中，大多数分析工作都是工程师根据之前项目中获得的经验完成的。这种基于隐性知识的管理策略会因为企业人员变动而产生巨大影响。