[发明专利]一种计划任务执行能力度量与风险评估方法

摘要

本发明涉及一种计划任务执行能力度量与风险评估方法，该方法包括如下步骤：首先，建立计划任务的马尔科夫决策过程，利用已有的方法，计算马尔科夫决策过程的最优解；其次，为每个状态计算最佳执行路径，并将计算结果保存在最佳执行路径集合中；最后，按任务执行的时间单元重复执行计划跟踪与评估方法（Plan Trace and Evaluation，简记为PlaTE），直到任务成功率达到期望的指标或任务执行所耗费的时间超过指定的限度。该方法有利于提高指挥调度和管理决策水平，具有积极的现实意义。

主权项

一种计划任务执行能力度量与风险评估方法，其特征在于：包括如下步骤：（1）、将任务的执行者称为智能体，智能体所要执行的计划任务具有一定不确定性和贯序性，即后序任务的执行只与该任务当前的执行状况相关联，而与该任务之前的执行状况无关，首先，建立计划任务的马尔科夫决策过程，记为S,A,T,R,s0,G，其中，S为计划任务执行过程中每个状态的集合，即S={si,1≤i≤k}，其中si为状态，k为状态的数量；A为智能体可采取的行为集合，即A={ai,1≤ai≤h}，其中ai为行为，h为行为的数量；T为计划任务执行过程中状态间的转换概率，T(si,a,sj)代表由状态si采取行为a进入状态sj的转换概率；R为完成计划任务所能够获得的可量化的回报集合，R(si)为状态si所获取的回报；s0为智能体的起始状态，G为智能体的目标态集合；（2）、计算（1）中马尔科夫决策过程的最优解Q,∏，即寻找完成计划任务的最佳执行路径，其中，Q为计算获得的每个状态的值，∏则记录了每一个状态的最优行为；（3）、为每个状态计算其最佳执行路径p，并将计算结果保存在最佳执行路径集合P中，计算方法如下：状态节点n为计划任务所经历路径的构成单位，每个状态节点n由其状态元素s和概率元素pr构成，即n=(s,pr)，相应地，n.s为状态节点n所对应的状态，n.pr为该状态节点n的可达概率，例如，初始状态节点n0所对应的计划任务过程的初始态可以表示为n0=(s0,1)；计划任务所经历的路径中某一状态节点nj的可达概率定义为由某一起始节点ns出发，利用最佳路径到达本路径的目的节点nj的成功概率，因此有： Pr ( p ( n s , n j ) ) = Π n ∈ p ( n s , n j ) max n ′ . s T ( n . s , π ( n . s ) , n ′ . s ) - - - ( 1 ) 上式中，n.s为状态节点n所对应的状态，π(n.s)为状态节点n的最优行为，n'.s为在状态节点n执行π(n.s)所转换到的状态，T(n.s,π(n.s),n'.s)代表由状态n.s采取行为π(n.s)进入状态n'.s的转换概率，n'为状态n'.s所对应的状态节点，即n'为状态节点n的最优可达状态节点；一般一个状态节点n会对应多个最优可达状态节点n'；n∈p(ns,nj)表示的是n的取值为从ns出 发利用最佳执行路径到达状态节点nj路径上的所有状态节点；公式(1)的含义为：对于路径p(ns,nj)上的所有状态节点n，通过计算得到由状态n.s采取最优行为π(n.s)后进入状态n'.s的转换概率，然后取T(n.s,π(n.s),n'.s)的最大值，即取转换概率最大值所对应的最优可达状态节点n'，最后将路径p(ns,nj)上所有状态节点的转换概率最大值进行乘积运算；当路径的起始节点ns作为整个计划任务的初始节点时，即s=0时，某一状态节点nj的可达概率简记为：Pr(p(nj))=Pr(p(n0,nj))——(2)相应地，对于一个状态节点集合N，其对于目标节点nd'的可达概率用Pr(N)表示，Pr(N)的表达式如下： Pr ( N ) = Σ n ∈ N Pr ( p ( n , n d ′ ) ) - - - ( 3 ) 公式(3)表示的是这一状态节点集合内所有状态节点对于目的节点nd'的可达概率之和；同理，对于某个路径p，N是该路径p上所有节点的集合，对于一个节点集N所对应的路径集合P，其对于某个目的节点nd的可达概率通过以下公式计算获得： Pr ( P ) = Σ p ∈ P Pr ( p ( n d ) ) = Σ n ∈ N Pr ( p ( n , n d ) ) - - - ( 4 ) 这里由于路径集合P的计算都是由计划任务的其起点n0出发，根据公式(2)得知可以直接表示为目的节点nd的可达概率；对于某个状态节点n，其最佳执行轨迹定义为： α = { n , n ′ | arg max n ′ T ( n . s , π ( n . s ) , n ′ . s ) } - - - ( 5 ) 其中，n.s为状态节点n所对应的状态，π(n.s)为状态节点n的最优行为，n'.s为在状态节点n中执行π(n.s)所转换到的状态，T(n.s,π(n.s),n'.s)代表由状态n.s采取行为π(n.s)进入状态n'.s的转换概率；n'为状态n'.s所对应的状态节点，一般，一个状态节点n会对应多个最优可达状态节点n'；公式(5)表示当转换概率T(n.s,π(n.s),n'.s)取得最大值的时候，n'的取值作为要获 得的节点，与节点n共同构成状态节点n的最佳执行轨迹；对于某个状态节点n，其最佳执行路径定义为由n到标识为正回报的终止态g∈G的最佳执行轨迹上所有状态节点的集合，这种最佳执行路径代表了最理想的执行路线，即在不出现意外和不确定性情况下最好的计划任务执行方式；（4）、按计划任务执行的时间单元连续执行计划跟踪与评估方法（Plan Trace and Evaluation，以下简记为PlaTE方法），直到计划任务成功率达到期望的指标或计划任务执行所耗费的时间超过指定的限度；计划任务执行的时间单元t是指容易量化为数值的时间单位，依据计划任务所属的不同任务领域特征进行分别设定，t为若干分钟或若干小时或若干天；任务成功率ρt是指在计划任务执行环境中，在某一时间段内成功完成任务的一种概率性指标，即有多大的概率在前述时间段内完成该计划任务；而总的耗时则表示对于当前的计划任务，一般至少需要多少时间能够确保该计划任务能够得以完成，从而为指挥员或其他管理者提供可参考的量化指标，也为计划任务执行能力度量和风险评估提供参考依据；对于计划任务执行所耗费的时间，本发明采用计划跟踪与评估方法进行计算，具体方法如下：①设定初始值，节点集N={n0}，计划任务执行时间t=0，计划任务的成功概率ρ=0；②如果计划任务执行时间已经达到指定的上限，则进入步骤⑩，否则进入下一步骤；③将执行时间增加一个时间单元，即t=t+1；④为集合N中的每个状态获得其最佳路径，获得每个状态的最佳路径方法由步骤（3）给出，将计算获得的最佳路径放入集合P中，更新每个最佳路径上各状态节点在t时刻的可达概率：对于路径上的某个状态节点ns，其到达目标节点nj的最优可达概率由如下公式(6)给出：Prt(p(ns,nj))=Pr(p(ns,nj))×Prt‑1(p(ns))——(6)其中Pr(p(ns,nj))由公式(1)给出，而Prt‑1(p(ns))由公式(2)给出，即为n0到ns在t‑1时刻的可达概率；当t=1时，Prt‑1(p(ns))即为Pr(p(n0,ns))，由公式(1)给出；⑤将节点集N置空；⑥从集合P中取出一个最佳执行路径p，查找该最佳执行路径上除目标节点nj外其余 的各状态节点的非最优可达节点，记为集合β，最佳执行路径p上非目标节点外其余的各状态节点记为p‑nj， β = { ∪ n ∈ p - n j [ arg n ′ T ( n . s , π ( n . s ) , n ′ . s ) - arg max n ′ T ( n . s , π ( n . s ) , n ′ . s ) ] } , 将节点集β插入节点集N中，同时计算最佳执行路径上非目标节点nj外其余的各状态节点的非最优可达节点集中各状态节点n的直达节点n'的可达概率，该可达概率由公式(7)给出：Prt(p(n'))=Prt‑1(p(n))×T(n.s,π(n.s),n'.s)——(7)⑦若最佳执行路径集合P不为空，则进入步骤⑥，否则进入下一步骤；⑧计算本时间段内路径集合P中所有状态节点对于该路径的目的节点nj的任务成功率，ρt=Pr(P(nj))，其中Pr(P(nj))为路径集合P对于目标节点的可达概率，由公式(4)给出，即 Pr ( P ( n j ) ) = Σ n ∈ N Pr ( p ( n j ) ) ; ⑨ρ=ρ+ρt，保持节点集N，进入步骤②；⑩算法结束，返回成功概率ρ。