[发明专利]一种针对混合负载的细粒度GPU资源管理方法

摘要

本发明公开了一种针对混合负载的细粒度GPU资源管理方法，提出了一个基于容量的流多处理器抽象模型CapSM，将CapSM作为资源管理的基本单元；当混合负载(包括在线任务和离线任务)共享GPU资源时，通过细粒度管理不同类型任务对GPU资源的使用，支持任务资源配额和资源在线调整，在共享GPU资源的同时，保障在线任务的服务质量。本发明依据任务的类型、资源请求和当前系统GPU资源状态来确定最终为任务分配的资源，能够在资源充足的情况下满足离线任务对GPU资源的使用，当GPU资源不足时动态调整离线任务的资源使用，优先满足在线任务的资源需求，这样在混合负载同时运行时，既能保证在线任务的性能，又能充分利用GPU资源。

主权项

一种针对混合负载的细粒度GPU资源管理方法，其特征在于，所述混合负载是将任务分为在线任务和离线任务，当在线任务和离线任务共享GPU资源时，使用一种基于容量的SM抽象模型作为资源管理的基本单元来细粒度管理不同类型任务对GPU资源的使用，支持任务资源配额和资源在线调整，在共享GPU资源的同时，保障在线任务的服务质量，包括以下步骤：(1)用户通过资源管理应用程序编程接口(Application Programming Interface，以下简称API)向GPU提交任务(如不特殊说明，任务包括在线任务和离线任务)时，设置任务的资源请求信息，如果任务是离线任务，则设置的是任务的资源上限，即配额，如果任务是在线任务，则设置的是任务的最低资源量，即预留量；(2)通过资源管理API解析出任务的提交信息，包括kernel函数、任务块数量、任务块大小以及任务的资源请求；(3)根据任务的kernel函数，以及任务块大小，计算一个GPU SM上能够容纳的活动线程块数量；(4)根据当前GPU上应用的运行状况，计算出GPU上剩余可用资源量；(5)如果当前GPU资源剩余量不少于步骤(2)获取的任务的资源请求，则执行步骤(6)，否则，执行任务(8)；(6)设置任务的资源配置为任务的资源请求；(7)根据任务的资源配置以及步骤(3)确定的活动线程块数量，计算任务提交到GPU运行时应创建的线程块数量以及每个线程块分配的任务块数量，然后执行步骤(11)；(8)如果当前任务是离线任务，则执行步骤(9)，如果是在线任务，则执行任务(10)；(9)将当前GPU资源剩余量设为任务的资源配置，然后转到步骤(7)执行；(10)根据当前GPU资源剩余量，以及任务的资源请求，计算出资源差额，然后向当前GPU上运行的离线任务发送资源释放命令，使离线任务释放资源差额指定的资源量，然后转到步骤(6)；(11)根据计算出的GPU任务的线程块数量，提交任务到GPU上，创建线程并开始运行；(12)如果任务在GPU上运行过程中接收到资源释放的命令，则执行步骤(13)，否则执行步骤(14)；(13)如果在GPU上运行的任务，接收到释放资源的命令，则释放指定范围的资源，如果被释放的资源上有任务块未执行，则将这些未执行的任务块重映射到剩余的资源上继续执行；(14)任务执行完成，退出GPU。