[发明专利]自治操作条件反射自动机及在实现智能行为中的应用

权利要求书

1、一种自治操作条件反射自动机，以下简称AOC是一个九元组：

AOC=<t,Ω,S,Γ,δ,ϵ,η,ψ,s0>]]>

其中

(1)AOC的离散时间：t∈{0，1，2，…，n_t}，t＝0为AOC的起始时刻；

(2)AOC的操作符号集合：Ω＝{α_k|k＝1，2，…，n_Ω}，α_k为AOC的第k个操作符号；

(3)AOC的状态集合：S＝{s_i|i＝0，1，2，…，n_S}，s_i为AOC的第i个状态；

(4)AOC的操作规则集合：Γ＝{r_ik(p)|p∈P；i∈{0，1，2，…，n_S}；k∈{0，1，2，…，n_Ω}}，随机“条件-操作”规则r_ik(p)：s_i→α_k(p)意味着AOC在其状态处于s_i∈S的条件下依概率p∈P实施操作α_k∈Ω，p＝p_ik＝p(α_k|s_i)即AOC在状态处于s_i的条件下实施操作α_k的概率值，P表示p_ik的集合；

(5)AOC的状态转移函数：δ：S(t)×Ω(t)→S(t+1)，AOC t+1时刻的状态s(t+1)∈S由t时刻的状态s(t)∈S和t时刻的操作α(t)∈Ω确定，与其t时刻之前的状态和操作无关；δ所确定的状态转移过程是已知的或未知的，但其状态转移的结果是能够观测的；

(6)AOC的取向函数：ε：S→E＝{ε_i|i＝0，1，2，…，n_S}，ε_i＝ε(s_i)∈E为状态s_i∈S的取向值；

(7)AOC的操作条件反射学习律：模拟生物的操作条件反射机制，调节操作规则r_ik(p)∈Γ的实施概率，假设t时刻的状态为s(t)＝s_i，实施操作α(t)＝α_k∈Ω，t+1时刻观测到的状态s(t+1)＝s_j，那么t+1时刻的操作概率依

进行更新；这里其中，p_ik(t)是AOC状态处于s_i∈S的条件下实施操作α_k∈Ω的概率在t时刻的值；p_ik(t+1)是AOC状态处于s_i∈S的条件下实施操作α_k∈Ω的概率在t+1时刻的值；并且0≤p_ik+Δ≤1；ϵ→ij=ϵ(sj)-ϵ(si)]]>即取向值的增量；是单调增函数，满足当且仅当x＝0；a是学习率；ξ=piu(t)/Σv≠kpiv(t),]]>这里u表示0到n_Ω之间不等于k的任何一个数值，表示AOC状态处于s_i∈S的条件下实施操作α_u∈Ω的概率之和在t时刻的值，v表示0到n_Ω之间不等于k的所有数值；p_iu(t)是AOC状态处于s_i∈S的条件下实施操作α_u∈Ω的概率在t时刻的值，p_iu(t+1)是AOC状态处于s_i∈S的条件下实施操作α_u∈Ω的概率在t+1时刻的值；

(8)AOC的操作熵：ψ：P×E→R⁺，R⁺是正的实数集，AOC在t时刻的操作熵ψ(t)表示t时刻状态处于s_i条件下的操作熵之和：

ψ(t)=ψ(Ω(t)|S)=Σi=0nSpiψi(t)=Σi=0nSp(si)ψi(Ω(t)|si)]]>

它由t时刻处于状态s(t)＝s_i条件下的操作概率集合和取向函数集合决定；ψ_i(t)是AOC处于状态s_i条件下的操作熵：

ψi(t)=ψi(Ω(t)|si)=-Σk=1nΩpiklog2pik=-Σk=1nΩp(αk|si)log2p(αk|si)]]>

知道每个状态下的操作熵并加权求和就可以得出AOC在t时刻的操作熵ψ(t)=-Σi=0nSpiΣk=1nΩpiklog2pik=-Σi=0nSp(si)Σk=1nΩp(αk|si)log2p(αk|si);]]>其中，p(s_i)是AOC状态s_i∈S的出现概率在t时刻的值，p(α_k|s_i)是AOC状态处于s_i∈S的条件下实施操作α_k∈Ω的概率在t时刻的值；

(9)AOC的起始状态：s₀＝s(0)∈S。

2、根据权利要求1所述的自治操作条件反射自动机AOC，其特征是它依下述程序步骤递归地运行：

(1)初始化：设置t＝0，随机给定AOC的初始状态s(0)，给定学习率a，给定初始操作概率p_ik(0)＝1/n_Ω(i＝0，1，2，…，n_S；k＝1，2，…，n_Ω)；给定停机时间T_f；

(2)选择操作：依操作集合Γ中“条件-操作”规则集合Γ中的规则r_ik(p)：s_i→α_k(p)，即AOC在其状态处于s_i∈S的条件下依概率p∈P实施操作α_k∈Ω，p＝p_ik＝p(α_k|s_i)是AOC在其状态处于s_i的条件下实施操作α_k的概率值，随机地选择AOC状态处于s(t)∈S的操作α(t)∈Ω；

(3)实施操作：t时刻，AOC处于状态s(t)∈S实施上一步已选中的操作α(t)∈Ω，当前状态发生转移δ(s(t)，α(t))＝δ(s_i，α_k)；

(4)观测状态：依AOC的状态转移函数：δ：S(t)×Ω(t)→S(t+1)，状态转移的结果是完全能够观测的，即存在j∈{0，1，2，…，n_S}使得s(t+1)＝s_j；

(5)操作条件反射：在t时刻实施操作，不仅AOC的状态发生转移，它的各个操作在下一时刻的实施概率也发生改变，则依操作条件反射学习律调节操作规则r_ik(p)∈Γ的实施概率p∈P；t时刻s(t)＝s_i且α(t)＝α_k，那么t+1时刻的操作概率依

进行更新；其中，并且0≤p_ik+Δ≤1；ϵ→ij=ϵ(sj)-ϵ(si)]]>即取向值的增量；a是学习率；ξ=piu(t)/Σv≠kpiv(t);]]>

(6)计算操作熵：根据定义的操作熵的公式ψ(t)=-Σi=0nSpiΣk=1nΩpiklog2pik=-Σi=0nSp(si)Σk=1nΩp(αk|si)log2p(αk|si);]]>计算t时刻的操作熵，其中，p(s_i)是AOC状态s_i∈S的出现概率在t时刻的值，p(α_k|s_i)是AOC状态处于s_i∈S的条件下实施操作α_k∈Ω的概率在t时刻的值；

(7)递归转移：如果t+1≤T_f，那么t＝t+1并重复(2)-(7)；

(8)当t+1＞T_f时停机。