[发明专利]基于最大熵逆强化学习的无服务器计算资源配置方法

说明书

本申请公开了一种基于最大熵逆强化学习的无服务器计算资源配置方法、装置、设备及其存储介质，该方法包括：智能体随机产生一个预设策略；将预设策略采样得到的数据与专家数据采样得到的数据对比，学习奖励函数；利用所学的奖励函数进行强化学习，得到强化后的自身策略；判断自身策略的差距，当自身策略的差距小于阈值时则停止对比。本申请提供的上述方案，当基础的训练完成后，本案就是完全在线的学习方法，无需在此训练。本发明可动态调整参数，且本发明较为充分地探索了价格与收益的空间，使得用户与平台的效益最大化。

技术领域

本发明涉及计算机体系结构技术领域，具体涉及一种基于最大熵逆强化学习的无服务器计算资源配置方法、装置、设备及其存储介质。

背景技术

无服务器计算(Serverless Computing)是指在构建和运行应用时无需管理服务器等基础设施。它描述了一个更细粒度的部署模型，在该模型中，应用被拆解为一个或多个细粒度的函数被上传到一个平台，然后根据当前所需执行、扩展和计费。

无服务器计算并不意味着不再使用服务器来承载和运行代码，也不意味着不再需要运维工程师。而是指无服务器计算的消费者不再需要进行服务器配置、维护、更新、扩展和容量规划上，这些任务和功能都由无服务器平台处理，并且完全从开发人员和IT/操作团队中抽象出来。因此，开发人员专注于编写应用程序的业务逻辑。运营工程师能够将他们的重点提升到更关键的业务任务上。

现有的无服务器计算平台通常需要用户自行配置资源的使用量，而用户通常会给自己的函数配置超过其所需的资源以避免OOM等故障。因此，一方面造成资源的严重浪费，另外一方面，给用户的使用产生了不必要的学习成本和时间开销。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种基于最大熵逆强化学习的无服务器计算资源配置方法、装置、设备及其存储介质。

第一方面，本申请实施例提供了一种基于最大熵逆强化学习的无服务器计算资源配置方法，该方法包括：智能体随机产生一个预设策略；将预设策略采样得到的数据与专家数据采样得到的数据对比，学习奖励函数；利用所学的奖励函数进行强化学习，得到强化后的自身策略；判断自身策略的差距，当自身策略的差距小于阈值时则停止对比。

在其中一个实施例中，在所述智能体随机产生一个预设策略之前，该方法还包括：用户调用预设函数，并给预设函数配置资源。

在其中一个实施例中，所述将预设策略采样得到的数据与专家数据采样得到的数据对比，学习奖励函数，包括：将将预设策略采样得到的数据与配置资源后得到的数据对比并计算收益；根据收益建立奖励函数。

在其中一个实施例中，所述当自身策略的小于阈值时则停止对比之后，该方法还包括：当自身策略的差距大于阈值时则重新将预设策略采样得到的数据与专家数据采样得到的数据对比。

第二方面，本申请实施例还提供了一种基于最大熵逆强化学习的无服务器计算资源配置装置，该装置包括：产生单元，用于智能体随机产生一个预设策略；对比单元，用于将预设策略采样得到的数据与专家数据采样得到的数据对比，学习奖励函数；强化单元，用于利用所学的奖励函数进行强化学习，得到强化后的自身策略；判断单元，用于判断自身策略的差距，当自身策略的差距小于阈值时则停止对比。

在其中一个实施例中，在所述智能体随机产生一个预设策略之前，该装置还包括：用户调用预设函数，并给预设函数配置资源。

在其中一个实施例中，所述将预设策略采样得到的数据与专家数据采样得到的数据对比，学习奖励函数，包括：将将预设策略采样得到的数据与配置资源后得到的数据对比并计算收益；根据收益建立奖励函数。

在其中一个实施例中，所述当自身策略的小于阈值时则停止对比之后，该装置还包括：当自身策略的差距大于阈值时则重新将预设策略采样得到的数据与专家数据采样得到的数据对比。