[发明专利]基于三维市场状态的售电商智能代理投标行为优化方法

权利要求书

1.基于三维市场状态的售电商智能代理投标行为优化方法，其特征是，包括以下过程：

S1，确定影响市场状态的三个因素，由此三个因素构造三维市场状态集，由于每一个市场状态对应多个投标策略，因此由市场状态集构建相应的投标策略集；

S2，对投标策略采用Q学习算法来优化，建立投标策略对应的值函数；

S3，采用贪心算法求解值函数的最大值，获得最优的投标策略。

2.根据权利要求1所述的基于三维市场状态的售电商智能代理投标行为优化方法，其特征是，影响市场状态的三个因素为市场供需比、负荷和竞争对手数量。

3.根据权利要求2所述的基于三维市场状态的售电商智能代理投标行为优化方法，其特征是，构造三维市场状态集的过程为：

确定实际电力市场中的市场供需比、负荷、竞争对手数量的边界，得到市场供需比区间[Ratio_min,Ratio_max]、负荷区间[Load_min,Load_max]和竞争对手数量区间[Num_min,Num_max]；其中，Ratio_min是市场供需比最小值，Ratio_max是市场供需比最大值，Load_min是负荷最小值，Load_max是负荷最大值，Num_min是竞争对手数量最小值，Num_max是竞争对手数量最大值；

然后，将市场供需比区间[Ratio_min,Ratio_max]划分为m个等距子区间，负荷区间[Load_min,Load_max]划分为n个等距子区间，竞争对手数量区间[Num_min,Num_max]划分为l个等距子区间；

一个市场供需比子区间、一个负荷子区间和一个竞争对手数量子区间构成一个三维市场状态s_i(Ratio,Load,Num)，则三维市场状态集的数量为m、n、l这三个数的乘积，相应的三维市场状态集S为S{s₁(Ratio,Load,Num),s₂(Ratio,Load,Num),…,s_m×n×l(Ratio,Load,Num)}。

4.根据权利要求1所述的基于三维市场状态的售电商智能代理投标行为优化方法，其特征是，建立投标策略对应的值函数为：

设某售电商代理在第t轮投标中，市场状态为s_k，选择的投标策略是b_kj，此时策略b_kj对应的值函数是Q_t(s,a)，则第t+1轮各策略对应的值函数Q_t+1(s,a)更新如下：

其中，α为奖赏折扣，R_kj为投标策略b_kj带来的奖赏回报。

5.根据权利要求4所述的基于三维市场状态的售电商智能代理投标行为优化方法，其特征是，投标策略对应的值函数中R_kj＝R*q_kj，其中，q_kj为第k个市场状态下投标策略b_kj的中标电量，R为售电商的目标收益。

6.根据权利要求5所述的基于三维市场状态的售电商智能代理投标行为优化方法，其特征是，目标收益R是根据各售电商不同目标进行加权得到的，对于第d个售电商，其各目标如下：

(1)第一个目标a_d1：对于中间商型的售电商，其获利方式是赚取集中出清价格和与用户签订价格的差值作为利润；其投标根本目的之一是获得更加廉价的购电成本，提高自身的利润；

设第d个售电商与用户签订的售电价格是π_SELL,d，签订的合同电量是p_SIGN，d，出清价格为π_CLEAR，则目标a_k1表示为：

a_d1＝max[p_SIGN,d·(π_SELL,d-π_CLEAR)]

(2)第2个目标a_d2：对于竞争市场中的部分售电商，其经营目标是在保证基本盈利的条件下扩大营业额；

设第d个售电商与用户签订的售电价格是π_SELL,d，能接受的亏本金额是π_LOSS,d，是实际亏本超过能接受的亏本金额时的惩罚项，签订的合同电量是p_SIGN,d，出清价格为π_CLEAR，则目标a_d2表示为：

其中：是实际亏本超过能接受的亏本金额时的惩罚项，是惩罚因子；

(3)第3个目标a_d3：对于竞争市场中的部分售电商，其短期经营目标不是扩大利润和营业额，而是扩大成交电量，从而扩大自身在市场中的影响力，甚至是在亏本的情况下扩大成交电量；这种类型的售电商，并不考虑市场中的出清价格；

设第d个售电商的购买电量是p_BUY,d，则目标a_d3表示为：

a_d3＝maxp_BUY,d

(4)第4个目标a_d4：对于在竞争中的部分售电商，其经营目标是重点打击某个竞争对手，使自己的成交电量大于对手的成交电量，并扩大领先幅度；

假设其针对的竞争对手是第m个售电商，对手成交电量是p_CLEAR,m，自身的成交电量是p_CLEAR,d，则目标为a_d4：

a_d4＝max(p_CLEAR,d-p_CLEAR,m)

售电商根据自身需要对每个目标设置权重，进行加权，得到各个售电商目标的统一表达式；设第d个售电商第n个运营目标占比权重为θ_dn，则满足：

其中β_dn第是d个售电商第n个运营目标的转换系数；

则第d个售电商的收益R表达式为：