[发明专利]用于改进随机控制问题的策略的方法和系统

说明书

公开了一种用于改进随机控制问题的策略的方法和系统，随机控制问题由动作集合、状态集合、作为状态和动作的函数的奖励结构，以及多个决策时期表征，该方法包括使用采样装置获得表示玻尔兹曼机的样本配置的数据，获得随机控制问题的初始化数据和初始策略；将分别表示玻尔兹曼机的每个耦合器和每个节点的初始权重和偏置以及横向场强的数据分配给采样装置；进行以下操作直到满足停止标准：生成当前时期状态动作对，修改表示没有耦合器或至少一个耦合器和至少一个偏置的数据，执行对应于当前时期状态动作对的采样以获得第一采样经验均值，获得在当前时期状态动作处的Q函数的值的近似，获得未来时期状态动作对，其中，状态是通过随机状态处理获得的，并且进一步其中，获得动作包括对包括未来时期状态和任何可能动作的多个所有状态动作对执行随机优化测试，从而在未来时期提供动作并更新未来时期状态的策略；修改表示没有耦合器或至少一个耦合器和至少一个偏置的数据，执行对应于未来时期状态动作对的采样，获得未来时期状态动作处的Q函数的值的近似，更新每个权重和每个偏置，并当满足停止标准时提供策略。

相关申请的交叉引用

本专利申请要求2016年5月9日提交的美国临时专利申请No.62/333,707的优先权。

技术领域

本发明涉及计算。更确切地说，本发明涉及用于改进随机控制问题的策略的方法和系统。

背景技术

马尔可夫决策处理

随机控制问题旨在设计一种策略来控制通过随机处理演化以最大化效用的系统的状态。

马尔可夫决策处理(MDP)是满足马尔可夫属性的特定类型的随机控制问题。

马尔可夫决策处理被广泛用于模拟在不确定情况下所做的顺序决策。

许多问题涉及马尔可夫决策处理，如种群收获(population harvesting)、控制灌溉和发电的水资源、任何行业的设备更换、金融和投资的投资组合优化、排队理论和运营研究的调度、生成信贷和保险政策、卫生和制药应用中的超额预订管理、检疫和治疗水平、生成运动策略、应急响应车辆位置。

实际上，给定一个具有一些固有随机演化的系统，当这些决策可能影响系统时，决策者如何决定在多个时期内最大化一些依赖于系统的效用函数？

形式上，马尔可夫决策处理可以由以下四个部分定义。

1.一组决策时期T＝{n，n+1，...，m}，其中m可以是有限的或无限的。应当理解，该组决策时期表示必须作出决定的一组时间。例如，在涉及马尔可夫决策处理的问题是设备更换的情况下，该组决策时期可以是每天连续使用设备。

2.状态空间S。应当理解，状态空间中的任何状态都包含表示实现系统的数据。例如，在涉及马尔可夫决策处理的问题是设备更换问题的情况下，状态空间可以是表示设备的状况的一组整数。

3.行动的空间A。应当理解，动作空间中的任何动作都包含表示系统的可能控制的数据。例如，在涉及马尔可夫决策处理的问题是设备更换问题的情况下，动作空间可以包括两个动作，更换或不更换设备。

4.瞬时奖励(instantaneous rewards)应当理解，瞬时奖励表示在系统处于给定决策时期的给定状态时采取行动的结果。例如，在涉及马尔可夫决策处理的问题是设备更换问题的情况下，如果动作是更换表示设备更换成本的设备，则瞬时奖励可以是负整数，否则为正整数。当装置在更好的条件下运行时，正整数更大。

应当理解，转移概率是从给定状态到另一给定状态的转变的概率。马尔可夫决策处理的马尔可夫属性可以写成：

例如，在涉及马尔可夫决策处理的问题是设备更换问题且装置具有3种情形(故障、差、好)的情况下，转移概率可以与时间无关并由转移概率矩阵给出：