[发明专利]基于统计假设检验的学习自动机实现系统及方法

权利要求书

1.一种基于统计假设检验的学习自动机实现系统，其特征在于，包括：

导入模块：在泛在电力物联网中，采用积极初始化算法，导入先验知识；

动作选择模块：根据先验知识，采用统一选择策略选取动作，构建动作集；

动作集更新模块：采用统计假设检验算法从动作集中消除不符合预设规则的动作；

收敛判断模块：判断动作集大小，若不符合预设规则，则回调动作集更新模块，将剩余动作与环境进行交互，继续消除不符合预设规则的动作，直至动作集中仅剩一个动作，此时判断为已收敛，结束训练。

2.根据权利要求1所述的基于统计假设检验的学习自动机实现系统，其特征在于，所述积极初始化算法，对于每个动作a_i的反馈序列F_i(0)的值随机地从{0,1}中设置。

3.根据权利要求2所述的基于统计假设检验的学习自动机实现系统，其特征在于，所述动作选择模块的学习过程分为多个回合，每个回合与环境的交互组成；其中每个回合的索引用l＝1,2,3...L表示，L是直到收敛为止的总回合数；在第l回合设置的动作用A(l)表示，大小用|A(l)|表示；

统一选择策略在第l轮中，当前动作集A(l)中的每个动作均被无差别地选择一次与环境交互。

4.一种基于统计假设检验的学习自动机实现方法，其特征在于，采用权利要求3所述的基于统计假设检验的学习自动机实现系统，包括：

步骤1：根据林德伯格列维定理，将两个动作的收敛概率作为两个高斯随机变量的均值进行比较，从而引入z检验：

步骤2：通过比较收敛概率确定预定最佳动作，通过将任意一个动作与预定最佳动作的z检验统计量与临界值进行比较，剔除次优动作，更新动作集，进而确定最佳动作。

5.根据权利要求4所述的基于统计假设检验的学习自动机实现方法，其特征在于，所述林德伯格列维定理包括：假设动作a_i被选择了n次，反馈序列为{β_i(1)，β_i(2)，···，β_i(n)}，P_r{β_i(k)＝1}＝d_i，P_r{β_i(k)＝0}＝1-d_i，则有：

β_i(1)表示动作a_i的第一个反馈序列；d_i表示动作a_i的任意一个反馈序列被选中的概率值；k表示计数，动作a_i对应的任意一个反馈序列；N表示正态分布；p_r表示动作a_i的任意一个反馈序列被选中的概率。

6.根据权利要求5所述的基于统计假设检验的学习自动机实现方法，其特征在于，动作集更新的过程包括：

在第l轮学习过程结束后，对于动作a_i∈A(l)，反馈序列记为：F_i(l)＝{β_i(1)，β_i(2)，···，β_i(l+2)}；

根据林德伯格列维定理，有：

将动作的最大预定收敛概率定义为反馈序列的均值：

第l轮学习过程结束后预定最佳动作a_m(l)为具备最大预定收敛概率的动作：

该动作的反馈序列记为：F_m(l)＝{β_m(1)，β_m(2)，···，β_m(l+2)}；β_m(1)表示最佳动作a_m的第一个反馈序列。