[发明专利]一种用于降低云游戏中响应延迟的动态资源划分方法

权利要求书

1.一种用于降低云游戏中响应延迟的动态资源划分方法，其特征在于，包括：

步骤1，找到云游戏系统中服务器上各个进程IPC与响应延迟的关系，回归出各进程IPC与响应延迟的线性关系；

步骤2，测量各个进程在不同分组不同资源划分时单独的IPC数据，为接下来建立机器学习预测模型提供训练集；

步骤3，建立机器学习预测模型，对给定分组、给定资源划分下，分组中各进程IPC与对应权重相乘之和进行预测；

步骤4，根据机器学习预测模型的预测结果，使用启发式算法找到使响应延迟最低的分组方式；

步骤5，建立多智能体Q-learning模型，对于每一个进程组建立一个Q-table，多个智能体协同工作、动态地调整资源；

步骤6，对多智能体Q-learning模型进行训练，直至Q-table收敛。

2.根据权利要求1所述的方法，其特征在于，步骤3所述的机器学习预测模型的输入为n+2维，其中n为云游戏系统中服务器上的相关进程数量，输出为1维；每个进程组是一条数据，输入向量前n维是分组信息，每一维代表一个进程，若该进程在进程组中，则将该维数据的值设为1，否则设为0，输入后两维是该分组资源信息，分别代表该组的CPU核数和LLC数；输出信息为分组中各进程IPC与对应权重相乘之和。

3.根据权利要求2所述的方法，其特征在于，步骤4所述的启发式算法的具体细节如下：一开始将所有的进程放到一个进程组里，然后每次迭代将进程组一分为二；在每次迭代中，首先创建一个空的进程组，然后试着将原进程组的每一个进程加入到新的组中，再对原进程组中的资源进行重新分配，将原进程组中的CPU核和LLC分给两个组，遍历所有的资源分配方式，找到使响应延迟最低的资源分配方式；如果此响应延迟比原延迟低，就将进程放到新的组里，否则，仍将进程保留在原进程组里；重复这个过程，直到进程分成两组的收益比不分组低或者进程组中只剩下一个进程。

4.根据权利要求3所述的方法，其特征在于，步骤5所述的多智能体Q-learning模型的具体细节如下：状态空间使用一个三元组i，j，k表示，i代表当前组划分得到的CPU核的个数，j代表当前组划分得到的LLC的大小，k代表当前组中进程在前资源划分和负载下的IPC加权和；动作空间使用一个二元组p，q表示，p代表增加或减少的CPU核的个数，q代表增加或减少的LLC大小；奖励为对于每个进程组，在当前状态下，agent采取动作后该组的IPC加权和的值。

5.根据权利要求1所述的方法，其特征在于，步骤5所述的多个智能体协同工作过程中选取联合动作的策略可以概括为：多个智能体采取贪心策略选取联合动作，对于每种资源，每次选取两个进程组进行一个单位资源的增或减操作，遍历所有的进程组对，根据Q-table中的值和线性公式计算出每个联合动作的响应延迟的预期值，找到使响应延迟预期值最低的一个联合动作；对于其他资源，重复操作，则此时各个智能体所进行的全部资源变更动作则为本次的最终联合动作。

6.根据权利要求1所述的方法，其特征在于，步骤6所述的对多智能体Q-learning模型进行训练的过程概括如下：首先，将所有的Q-table值都初始化为0；然后，在云游戏系统中运行游戏和Q-learning模型进行训练；在训练的每一步，多个智能体根据协同工作过程中选取联合动作的策略选择各自的动作，并根据联合动作为进程组分配资源；观察动作执行后进程组的IPC加权和作为奖励，并根据Q-learning更新公式更新Q-table中相应的值，直至最终Q-table值收敛。