[发明专利]降低执行机器学习任务的计算成本的方法和系统

说明书

本发明涉及一种降低执行机器学习任务的计算成本的方法和系统。一种用于降低执行机器学习任务的计算成本的计算机实现的方法，包括：生成对应于多个状态的一个或多个状态分区候选者，所述多个状态与部分可观察马尔可夫决策过程(POMDP)模型相关联；基于用于所述一个或多个状态分区候选者中的给定状态分区候选者的状态转移矩阵，确定所述给定状态分区候选者满足合并条件；以及使用所述给定状态分区候选者并基于具有合并状态的所述POMDP模型来执行机器学习任务。

技术领域

本发明一般地涉及机器学习，更具体地说，涉及降低执行机器学习任务的计算成本。

背景技术

决策过程模型可以用于研究能够使用机器学习来解决的多种优化问题。机器学习任务的一个示例是强化学习任务。强化学习的目标是通过将动作与回报或成本相关联，训练人工智能代理以选择回报最大化或成本最小化的动作。

发明内容

根据本发明的一个实施例，提供一种用于降低执行机器学习任务的计算成本的方法。所述方法包括：由在操作上耦合到存储器的至少一个处理器设备生成对应于多个状态的一个或多个状态分区候选者，所述多个状态与部分可观察马尔可夫决策过程POMDP模型相关联；由所述至少一个处理器设备基于用于所述一个或多个状态分区候选者中的给定状态分区候选者的状态转移矩阵来确定所述给定状态分区候选者满足合并条件；以及由所述至少一个处理器设备使用所述给定状态分区候选者并基于具有合并状态的所述POMDP模型来执行机器学习任务。

根据本发明的另一个实施例，提供一种用于降低执行机器学习任务的计算成本的系统。所述系统包括用于存储程序指令的存储设备、以及在操作上耦合到所述存储设备的至少一个处理器设备。所述至少一个处理器设备被配置为执行存储在所述存储设备上的程序指令以：生成对应于多个状态的一个或多个状态分区候选者，所述多个状态与部分可观察马尔可夫决策过程POMDP模型相关联；基于用于所述一个或多个状态分区候选者中的给定状态分区候选者的状态转移矩阵来确定所述给定状态分区候选者满足合并条件；以及使用所述给定状态分区候选者并基于具有合并状态的所述POMDP模型来执行机器学习任务。

根据本发明的又一个实施例，提供一种计算机程序产品。所述计算机程序产品包括具有随其包含的程序指令的非瞬时性计算机可读存储介质。所述程序指令能够由计算机执行以使得所述计算机执行用于使用部分可观察马尔可夫决策过程POMDP模型来降低机器学习任务的计算成本的方法。由所述计算机执行的所述方法包括：生成对应于多个状态的一个或多个状态分区候选者，所述多个状态与部分可观察马尔可夫决策过程POMDP模型相关联；基于用于所述一个或多个状态分区候选者中的给定状态分区候选者的状态转移矩阵来确定所述给定状态分区候选者满足合并条件；以及使用所述给定状态分区候选者并基于具有合并状态的所述POMDP模型来执行机器学习任务。

从以下结合附图阅读的对说明性实施例的详细描述，这些和其它特性和优势将变得显而易见。

附图说明

以下描述将参考以下附图提供优选实施例的细节，这些附图是：

图1是根据本发明的一个实施例的处理系统的框图；

图2是示出根据一个实施例的具有一个或多个云计算节点的说明性云计算环境的框图，由云的消费者使用的本地计算设备与该一个或多个云计算节点通信；

图3是示出根据一个实施例的由云计算环境提供的一组功能抽象层的框图；

图4是示出根据本发明的一个实施例的示例性问题设置的图；

图5是示出根据本发明的一个实施例的用于通过减少与部分可观察马尔可夫决策过程(POMDP)模型相关联的状态来改进由计算机系统执行的机器学习的系统/方法的框图/流程图；

图6是示出根据本发明的一个实施例的状态转移的示例的图；