[发明专利]有限信息下发电商报价寻优的实用强化学习自动机方法

权利要求书

1.一种有限信息下发电商报价寻优的实用强化学习自动机方法，其特征在于，包括以下步骤：

S1：初始化发电商的发电量的动作空间概率密度函数及历史收益缓存区；

S2：将所述概率密度函数离散化为离散概率密度函数，以获得若干个子区间，根据所述子区间的累积概率选择随机数所在子区间对应的动作，并将选择的动作提交；

S3：对环境反馈做出评估，计算出清收益并根据所述出清收益执行强化信号评估，再将所述出清收益存入所述历史收益缓存区；

S4：更新离散概率密度函数为所述离散概率密度函数和离散高斯邻域函数在子区间端点处离散值的线性运算；

S5：判断是否达到迭代停止标准，如否返回步骤S2，如是，结束本次寻优过程。

2.根据权利要求1所述的有限信息下发电商报价寻优的实用强化学习自动机方法，其特征在于，所述动作空间中的动作为发电量，所述概率密度函数为发电商对不同策略的选择偏好，初始的动作空间概率密度函数为在所述动作空间上的均匀分布。

3.根据权利要求1所述的有限信息下发电商报价寻优的实用强化学习自动机方法，其特征在于，所述步骤S2中，离散化所述概率密度函数时，首先将动作区间等分为m段，记为{x₀，...，x_m}，每段长度为x_d，称为1个子区间，在第n次迭代，离散概率密度函数的值为{f(x₀，n)，...，f(x_m，n)}。

4.根据权利要求3所述的有限信息下发电商报价寻优的实用强化学习自动机方法，其特征在于，所述子区间的累积概率按如下方法得到：

首先，根据梯形法，计算任意子区间k的面积s_k(n)：

再进行子区间面积的递加，得到子区间k的动作的累积概率S_k(n)：

S_k(n)＝S_k-1(n)+s_k(n)，k＝2，...，m，

其中，S₁(n)＝s₁(n)。

5.根据权利要求4所述的有限信息下发电商报价寻优的实用强化学习自动机方法，其特征在于，选择动作时，根据所述累积概率确定随机数z(n)所在的子区间u，则第n次选择的动作x(n)表示为：

6.根据权利要求3或4或5所述的有限信息下发电商报价寻优的实用强化学习自动机方法，其特征在于，离散高斯邻域函数在子区间端点处离散值为{h(x₀，n)，...，h(x_m，n)}，则对第g个子区间端点，更新的离散概率密度函数为：

其中，f′(x_g，n+1)为x_g处的未经过归一化处理的离散概率密度值，β(n)为强化信号评估值，α值由复化梯形公式确定：