[发明专利]基于统计假设检验的学习自动机实现系统及方法

说明书

本发明提供了一种基于统计假设检验的学习自动机实现系统及方法，包括：在泛在电力物联网中，导入模块：采用积极初始化算法，导入先验知识；动作选择模块：根据先验知识，采用统一选择策略选取动作，构建动作集；动作集更新模块：采用统计假设检验算法从动作集中消除不符合预设规则的动作；收敛判断模块：判断动作集大小，若不符合预设规则，则回调动作集更新模块，将剩余动作与环境进行交互，继续消除不符合预设规则的动作，直至动作集中仅剩一个动作，此时判断为已收敛，结束训练。本发明去除了复杂的参数调谐，收敛速度显著提升，即使在基于动作概率向量的方案不适用的大规模动作环境仍能保持高准确率和效率。

技术领域

本发明涉及学习自动机技术领域，具体地，涉及一种基于统计假设检验的学习自动机实现系统及方法。

背景技术

在泛在电力物联网系统的感知防御模块中，所面临的最严峻的挑战是泛在电力物联网系统中庞大的数据量和复杂的参数调谐问题导致诸如异常流量检测等防御模块效率低，实时性差，鲁棒性差，抗干扰能力差的问题。因此，特征及参数的优化是泛在电力物联网系统的感知防御模块的研究重心。学习自动机凭借其具备强化学习的特点以及在概率空间上运行不必关注样本间测度的特性，避免了参数调谐，且具备全局优化能力，与随机环境的反复交互也使其具备了强大的抗干扰能力。使用学习自动机对泛在电力物联网系统感知防御模块中的特征进行优化是可行的。

统计假设检验是数理统计学中根据一定假设条件由样本推断总体的一种方法。事先对总体参数或分布形式作出假设，然后利用样本信息来判断原假设是否成立，采用逻辑上的反证法，依据统计上的小概率原理。

学习自动机(LA)是强化学习的重要研究方向，其旨在通过在与随机环境交互的学习过程中，探索所有可行选择中的最优动作，所述的最优动作是在当前的环境下，能得到环境奖励的概率最大的动作。即是在与环境的循环交互过程中获得经验，进而改善自己的动作。

根据状态转移函数的不同，学习自动机可以分为固定结构随机自动机(FSSA) 或可变结构随机自动机(VSSA)。FSSA的状态之间的转换是确定性的，而VSSA的状态之间的转换是随机的。FSSA是LA的原型，而VSSA通过更灵活和更广泛的应用场景来改进FSSA。而从动作集的种类来划分，LA可以分为连续动作集学习自动机 (CALA)和有限动作集学习自动机(FALA)。CALA的动作集是一段实数轴上的区间，由无限多个数组成，而FALA的动作集是有限的。根据其反馈的类型，随机环境可以分为P模型，Q模型或S模型。对于P模型环境，反馈是{0,1}区间中的二值函数，对于Q模型环境，反馈是{β₁，β₂，···，β_Q}(Q2)，中的特定值，而对于S模型环境，为[0,1]区间中的任意值。在学习自动机的种类中，在P模型环境中具有随机状态转移函数和有限动作集(VSFALA)的学习自动机较为常用。

VSFALA的优良特性之一是∈最优性，它确保了VSFALA在与环境的交互次数接近无穷大时以1的概率收敛到最优动作。不同VSFALA方案的性能是在一定准确度的前提下通过收敛速度来评估的。所述的准确性定义为正确收敛的概率，即LA找到具有最高奖励概率的动作的概率。所述的收敛速率是迭代的平均次数，即，LA学习到正确最优行为所需要与环境交互的平均次数。LA方案的复杂性通过收敛时间来衡量，收敛时间定义为LA达到正确收敛时所消耗的时间。