[发明专利]一种面向分布式机器学习任务的动态定价和部署方法

说明书

本发明公开了一种面向分布式机器学习任务的动态定价和部署方法，该方法能够在用户预算未知的情况下，对在线到达的机器学习任务请求资源进行动态地定价，同时为接受收费的用户部署任务，以达到收益最大化目的。云容器资源提供商根据本发明可以随着时间的推移实时在线地对资源进行动态定价，以谋得最大化收益。本发明结合了线性规划建模，经典的多臂老虎机框架(multi‑armed bandit,MAB)和贪心算法等，从理论上证明了其有效性。本发明能够在不需要知道用户预算和机器学习任务训练时长的情况下，趋向最优地进行动态定价并为任务进行部署，达到让资源尽可能地服务于更多请求的同时产生最大的收益。

技术邻域

本发明属于云计算领域，具体涉及一种面向分布式机器学习任务的动态定价和部署方法。

背景技术

当下，云服务提供商通常采用随用随付(pay-as-you-go)的定价策略，即根据用户的购买的虚拟机类型和任务运行时间并以固定单价进行收费。亚马逊EC2、谷歌云和微软Azure采用按需实例定价策略，用户根据运行的实例以按小时或按秒的方式，估计任务运行时间并预先为计算容量付费。另外一种经常采用的定价方式是预留实例，用户预先购买1-3年的计算容量。与按需实例的定价策略相比，预留实例可提供大幅折扣。但已有的定价策略不适合机器学习任务，原因如下：首先，不同的用户有不同的预算和资源需求。固定定价不能针对性地吸引不同的用户，并且不能反映市场上的供需变化。因此，索价过高和过低的情况都可能发生，从而损害云运营商和用户的利益。其次，现有的定价策略要求用户自己配置任务并提前预估任务运行时间。如果低估了任务的运行时间，用户将会被要求再次付费。但是，任务的运行时间是不能提前确定的，这通常受其计算节点的配置和部署位置的影响。

与现有的云服务定价相比，动态定价的关键在于云运营商怎样在不知道用户预算的情况下，对资源进行动态地定价并在服务器上配置和部署机器学习任务，来使得运营收益最大化同时在最短的时间内完成训练任务。

从一个云运营商的角度出发，假设他拥有多个分布在不同区域的云服务器，每个服务器上有多种类型计算节点和参数服务器节点。用户到达并向云运营商提供想要训练的机器学习任务的信息，以及指定所需要的计算节点和参数服务器结点的类型和数量。但是用户不需要提交任务的运行时间和预算。即使是在知道用户预算以及任务运行时间的前提下，对在线到的的任务进行动态定价和部署已经是一个NP-hard问题。如果考虑一个更实际的情况，每个用户任务请求在线到达并且任务运行时间和用户预算都是未知的(现实中这些信息往往都是未知的)，要求云服务商立刻对其进行定价以追求最大收益，问题将会变的更难。

发明内容

为了解决上述问题，本发明提供了一种高效面向分布式机器学习任务的动态定价和部署方法。用户到达并向云服务商提供想要训练的机器学习任务的信息，以及指定所需要的计算节点和参数服务器节点的类型和数量。云服务商通过算法来动态地为其定价，并将价格告知给用户。如果用户接受改价格，则云服务商将进行收费并根据算法为其部署任务。本发明所采用的技术方案是：