[发明专利]基于深度神经网络的电子产品异步自适应价值评估方法

权利要求书

1.基于深度神经网络的电子产品异步自适应价值评估方法，其特征在于：包括估计产品本身价值的估价模块和为应对市场变化进行定价调整的自适应调价模块，自适应调价模块使用双深度Q网络，其模型结构由两个结构相同、参数不同的深度Q学习网络构成，即行为网络和目标网络；估价模块根据影响电子产品价格的内部属性得到t时刻的产品基本估价由估价模块输出的估计价格经过自适应调价模块选择的调价动作a_t调整之后得到最终价格具体如下：

其中，调价动作a_t由行为网络得到，具体为：行为网络根据t时刻接收输入的数据s_t，得到每个调价动作的Q值，调价动作a_t即为最优的Q值对应的调价动作，即：

a_t＝argmax_aQ(s_t，a；θ_t)

其中，

数据s_t包括根据影响电子产品价格的内部属性、产品估价模块的预测价格、当前时间以及产品一周内回收量和销量，

θ_t为行为网络t时刻的参数，且在每次进行调价动作之后都会进行更新，双深度Q网络使用了经验回溯机制并使用目标网络参与行为网络参数的更新，所述的经验回溯机制指利用t时刻之前的信息调整第t+1时刻的行为网络参数θ_t+1，进而调整第t+1时刻的产品基本估价

Q(s_t，a；θ_t)为行为网络输入数据s_t通过参数θ_t计算出来的各个调价行为a的Q值，argmax_a为求最优Q值Q(s_t，a；θ_t)对应的调价行为a的操作。

2.根据权利要求1所述的基于深度神经网络的电子产品异步自适应价值评估方法，其特征在于：

所述的行为网络中的参数θ_t的更新过程如下：

1)将t时刻的输入信息s_t，做出的调价动作a_t，执行动作后获得的反馈r_t+1和t+1时刻获得的输入信息s_t+1组合成一个样本S_t={s_t，a_t，r_t+1，s_t+1}存储在回放空间中，其中，

其中，EB_p代表正反馈的误差边界，EB_n代表负反馈的误差边界，

Y_t表示市场成交价；

所述的回放空间由各时刻样本S_t构成，表示为{S₁，...，S_t，...，S_N}；

2)从回放空间中随机选取j时刻的样本S_j＝(s_j，a_j，r_j+1，s_j+1)，将其中的s_j+1输入行为网络并计算出调价动作a_j，t^-，具体表示如下：

a_j，t^-＝argmax_aQ(s_j+1，a；θ_t)

3)同时将s_j+1输入目标网络并得到调价动作a_j，t^-对应的Q值，具体表示为Q(s_j+1，a_j，t^-；θ^-)，其中θ^-表示此时目标网络的参数；

4)计算y_j，具体如下：

y_j＝r_j+1+γQ(s_j+1，a_j，t^-；θ^-)

其中，γ是用来调节网络学习程度的常量，

5)从回放空间中随机选取多个时刻的样本S_j，j≤t，将这些样本中的s_j输入行为网络，选择Adam优化器对行为网络进行优化，优化后的参数即为第t+1时刻行为网络的参数θ_t+1，其中损失函数L的计算公式如下：

L＝(y_j-Q(s_j，a_j；θ_t))²。