[发明专利]大数据平台资源管理方法、装置、设备及可读存储介质

说明书

本发明涉及金融科技领域，并公开了一种大数据平台资源管理方法，包括：在统一资源管理服务器接收到用户端的资源请求指令时，基于所述资源请求指令获取作业请求参数；基于所述作业请求参数，判断所述用户端是否满足资源申请条件；若所述用户端满足所述资源申请条件，则通过所述引擎管理服务器启动所述作业请求参数对应的引擎客户端；通过引擎管理服务器将引擎客户端对应的类别应用提交至大数据资源管理架构Yarn集群。本发明还公开了一种大数据平台资源管理装置、设备和可读存储介质。本发明通过统一资源管理服务器，对用户端的资源使用做了更细的划分和控制，不允许用户过量使用Yarn集群资源，也为用户支持多组件在一个大数据平台上执行作业有更细的资源控制。

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及金融行业的大数据平台资源管理方法、装置、设备及可读存储介质。

背景技术

随着计算机技术的发展，越来越多的技术(如分布式、区块链Blockchain、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，越来越多的技术应用于金融行业。金融行业的开发人员，通常会使用大数据开发平台Apache Hadoop YARN，这是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，在Hadoop集群中充当资源管理和任务调度的框架。

在现有的Hadoop生态组件中，用户的计算资源使用，大都要依赖yarn组件资源池(pool)，每个pool里有一定量的资源，每个用户属于某个pool，其提交的作业可使用这个pool中的资源。资源的分配主要是依据CPU虚拟核数和内存量。在一个统一的大数据平台上，个别组件单独对应多租户管理，采用的队列资源池的资源管理方式比较粗放，在同一个队列的用户存在资源竞争关系时，没有地方可以单独设置用户最大使用资源大小，无法灵活控制资源分配。

发明内容

本发明的主要目的在于提出一种大数据平台资源管理方法、装置、设备及可读存储介质，旨在解决现有技术中Hadoop生态组件在资源分配时难以管理的问题。

为实现上述目的，本发明提供一种大数据平台资源管理方法，所述大数据平台资源管理方法包括如下步骤：

在统一资源管理服务器接收到用户端的资源请求指令时，基于所述资源请求指令获取作业请求参数；

基于所述作业请求参数，判断所述用户端是否满足资源申请条件；

若所述用户端满足所述资源申请条件，则通过所述引擎管理服务器启动所述作业请求参数对应的引擎客户端；

通过所述引擎管理服务器将所述引擎客户端对应的类别应用提交至大数据资源管理架构Yarn集群，以供所述Yarn集群分配集群资源。

可选地，所述作业请求参数包括用户名、所述用户名对应的组件类别及实例运行资源大小；所述基于所述作业请求参数，判断所述用户端是否满足资源申请条件的步骤包括：

判断所述统一资源管理服务器中是否存在所述用户名可用的第一应用资源；

若所述统一资源管理服务器中存在所述用户名可用的第一应用资源，则判断所述第一应用资源中是否存在所述组件类别可用的第二应用资源；

若所述第一应用资源中存在所述组件类别可用的第二应用资源，则判断所述第二应用资源中是否存在所述实例运行资源大小可用的第三应用资源；

若所述第二应用资源中存在所述实例运行资源大小可用的第三应用资源，则判定所述用户端满足资源申请条件，且将所述用户端满足资源申请条件对应的第一信息返回至用户端。

可选地，所述基于所述作业请求参数，判断所述用户端是否满足资源申请条件的步骤之后，所述大数据平台资源管理方法还还包括：

若所述统一资源管理服务器中存在所述用户名可用的第一应用资源，或