[发明专利]基于模拟训练的价格谈判策略模型学习方法

权利要求书

1.一种基于模拟训练的价格谈判策略模型学习方法，其特征在于，通过在处理器上执行价格谈判对手模拟环境构造、卖家策略搜索和策略迁移三个模块进行实现；

价格谈判对手模拟环境构造模块中，从真实的在线交易平台中获取的买卖双方价格谈判过程交互数据，并对交互数据进行学习；学习过程中，基于卖方视角对交互数据作状态和动作数据分析，并将状态数据和动作数据分别编码为S和a，编码完成后，根据时间先后顺序，将交互数据排列为对应的状态-动作序列，即(S₀,a₀,S₁,a₁,…,S_T)序列；利用机器学习方法，从前述状态-动作序列中学习得到两类对手策略模型，即一般买家策略模型和对抗式对手策略模型；将这两类对手策略模型混合，混合后的策略模型作为价格谈判对手模拟器，该模拟器输入当前的状态数据与卖方执行的动作数据，并输出动作数据执行完成后的下一个状态数据；

价格谈判对手模拟器构建完成后，卖家策略搜索模块利用策略搜索方法，与价格谈判对手模拟器交互，进行策略优化；

策略迁移模块需要收集部署卖家策略搜索模块提供的策略后，交易平台产生的新的交互数据，用于对价格谈判对手模拟器的进一步更新，并通过卖家策略搜索模块重新搜索策略。

2.根据权利要求1所述的基于模拟训练的价格谈判策略模型学习方法，其特征在于，价格谈判对手模拟器构建过程主要分为三步：

首先，构建一般买家策略模型，该模型用于模拟电商交易平台中的普通买家在价格谈判过程中的行为模式；

其次，构建对抗式对手策略模型，该模型用于模拟电商交易平台中的恶意用户在价格谈判过程中的行为模式；

最后，通过选择一个策略选择函数，将一般买家策略模型和对抗式对手策略模型进行混合得到一个混合策略模型，作为价格谈判对手模拟器使用。

3.根据权利要求1所述的基于模拟训练的价格谈判策略模型学习方法，其特征在于，构建一般买家策略模型时，采用神经网络作为一般买家策略模型，准备好状态-动作序列后，由于模型的输入为当前一步的状态和动作，输出为下一步状态，将从真实环境中收集到的交互数据、即状态-动作序列(S₀,a₀,S₁,a₁,…,S_T)进行切分，划分出多个(S_t,a_t,S_t+1)的元组，其中S_t为策略模型当前一步的状态，a_t为当前一步的动作，S_t+1为策略模型输出的下一步状态；其中(S_t,a_t)作为一般买家策略模型的输入，S_t+1为输出；一般买家策略模型需要学习这个输入到输出的对应关系；使用监督学习方法对这个对应关系进行学习，具体方案如下：

首先，对真实环境中的在线交易平台的历史交互数据进行划分，得到由多个(S_t,a_t,S_t+1)元组组成的数据集，S_t+1为S_t的下一个状态；

然后，使用监督学习方法，将(S_t,a_t)作为样本，S_t+1作为预测目标，从划分后的数据集中训练出模拟器模型；

最后，训练后模拟器模型根据输入的状态-动作对(S_t,a_t)，预测下一个状态S_t+1，作为价格谈判对手模拟器中的一般买家策略模型使用。