[发明专利]一种动态资源分区方法

说明书

本发明公开了一种动态资源分区方法。该方法包括：利用样本数据集预训练分区数决策模型，该样本数据集表征多种场景数据特征与对应的并发性能最优进程分区数之间的关联关系；在满足设定触发条件的情况下，使用所述预训练的分区数决策模型预测当前场景的最优分区数；对于在线形式到达的进程，根据获得的当前场景的最优分区数和每个进程的资源使用特征通过无监督聚类算法对其进行聚类分区，获得进程聚类分区策略，该进程聚类分区策略用于指示进程所述的分区；根据获得的进程聚类分区策略对资源按需进行分区。本发明可以动态接收在线到来的进程，并对系统资源进行动态的分区，具有实时性且可以最大化系统的并发性能。

技术领域

本发明涉及计算机技术领域，更具体地，涉及一种动态资源分区方法。

背景技术

随着云计算技术的快速发展及其在众多领域的广泛应用，对云计算系统中的各种资源的合理分区(Partitioning)利用，以达到最优的系统性能，变得愈发重要。在运行众多进程的云计算系统中，如果无法对资源进行合理的分区利用，则会因为资源抢占而造成进程的阻塞，甚至是死锁，这将严重影响到系统的性能与可靠性。而为了避免死锁出现，部分进程需要被停止执行并阻塞。所以，如何在避免死锁的前提下通过对系统中运行的进程进行分区，以达成对各项资源的合理分区，从而减少进程的阻塞并最优化系统的并发性(Concurrency)成为了需要解决的关键问题。

现有技术对于资源的合理分区已进行了一些探索。例如，根据进程对单种资源需求的起止时间对进程进行分组并对资源进行分区。这种方法仅考虑对单种资源进行分区及分配，而无法处理对多种资源的分区与分配，这种局限性对于现今快速发展的云计算系统来说显然是不可接受的。

又如，通过人为设定资源需求阈值，对应用进行分组，并将资源分区以满足不同资源需求的应用。这种人为设置的资源分区阈值缺少灵活性，限制了云计算系统对资源进行动态分区调整的能力。

再如，首先通过训练人工神经网络这一机器学习模型来判断具有不同特征的进程的资源需求量，然后，训练随机登山算法，根据所得到的资源需求量预测值来寻找最优资源分区方式，并将进程分配到各个资源分区中。这种方法虽然可以对多种资源进行同时分区分配，但是所使用的人工神经网络算法模型较为复杂，参数众多，对训练数据需求量大，训练比较低效。此外，这种方法无法应对以在线形式(Online fashion)到来的进程，这些缺点给云计算系统带来局限性，限制了云计算系统的高效运行。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种动态资源分区方法，能够以在线方式接收新到来的进程，在避免死锁的前提下，动态地将进程进行合理分区，并根据进程的分区进行合理的资源分配，具有最优的并发性能。

本发明提供一种动态资源分区方法，该方法包括以下步骤：

利用样本数据集预训练分区数决策模型，该样本数据集表征多种场景数据特征与对应的并发性能最优进程分区数之间的关联关系；

在满足设定触发条件的情况下，使用所述预训练的分区数决策模型预测当前场景的最优分区数；

对于在线形式到达的进程，根据获得的当前场景的最优分区数和每个进程的资源使用特征通过无监督聚类算法对其进行聚类分区，获得进程聚类分区策略，该进程聚类分区策略用于指示进程所述的分区；

根据获得的进程聚类分区策略对资源按需进行分区。

与现有技术相比，本发明的优点在于，不受资源种类的限制，可以对多种资源进行动态分区，而不是仅仅对单一种类资源进行分区，具有一般性；不需要依赖于人为设定的阈值，而是通过机器学习的手段动态地根据当前资源使用情况及各个进程的资源使用情况进行资源分区调整，灵活性好。此外，本发明训练更加高效，且通过多种方法的巧妙配合，所做决策可以最大化系统的并发性能；可以动态接收在线到来的进程，并对系统资源进行动态的分区，具有实时性。