[发明专利]基于强化学习的量化模型训练方法、系统、终端及介质

权利要求书

1.基于强化学习的量化模型训练方法，其特征在于，所述方法包括：

获取历史交易环境数据并输入模拟交易引擎；

根据模拟交易引擎获得交易环境特征并输入量化模型，根据设定周期内的量化目标输出当前迭代下的多种交易策略和每种交易策略对应的价值数据；

根据所述交易环境特征、所述交易策略和所述价值数据，扩展蒙特卡洛树当前节点的子节点并更新当前节点的搜索路径上中间节点的价值数据；

搜索蒙特卡洛树并更新当前节点，获得当前节点对应的交易订单，并将所述交易订单输入所述模拟交易引擎；

基于当前节点的搜索路径，获得对所述量化目标完成情况的评估结果，将所述评估结果作为奖励值反向更新所述量化模型；

返回所述根据模拟交易引擎获得交易环境特征以进行下一次迭代。

2.如权利要求1所述的基于强化学习的量化模型训练方法，其特征在于，所述根据所述交易环境特征、所述交易策略和所述价值数据，扩展蒙特卡洛树当前节点的子节点，包括：

基于所述交易策略和所述交易环境特征，扩展所述当前节点的所有子节点，每个所述子节点用于反映一种交易策略并设定所述子节点的值为对应的价值数据。

3.如权利要求1所述的基于强化学习的量化模型训练方法，其特征在于，所述对量化模型进行训练，还包括：

所述设定周期的交易结束时，获得对所述设定周期内的量化目标完成情况的评估结果；

基于所述评估结果，更新蒙特卡洛树当前节点的搜索路径上中间节点对应的价值数据；

基于更新后的蒙特卡洛树，对量化模型进行迭代更新。

4.如权利要求1或3所述的基于强化学习的量化模型训练方法，其特征在于，所述获得对所述设定周期内的量化目标完成情况的评估结果，包括：

基于模拟交易引擎，根据基线算法获得第一交易完成率和第一交易价格；

基于蒙特卡洛树，获得第二交易完成率和第二交易价格；

比较所述第一交易完成率、第二交易完成率以及第一交易价格和第二交易价格，获得所述评估结果。

5.如权利要求1所述的基于强化学习的量化模型训练方法，其特征在于，所述量化模型的收敛条件为所述设定周期内量化模型获得的交易完成率大于或等于基线算法获得的交易完成率且量化模型获得的冲击成本小于基线算法获得的冲击成本。

6.如权利要求1所述的基于强化学习的量化模型训练方法，其特征在于，所述交易环境特征还包括价格波动率，计算价格波动率的表达式为：，其中，Q为价格波动率，为t时刻订单簿中交易对方价格一档，为t-1时刻订单簿中交易对方价格一档。

7.如权利要求1所述的基于强化学习的量化模型训练方法，其特征在于，所述根据设定周期内的量化目标输出当前迭代下的多种交易策略和每种交易策略对应的价值数据，包括：

基于设定的交易次数，获得平均交易比例；

基于设定的比例系数和所述平均交易比例，获得每种交易策略对应的交易比例；

基于所述交易比例，获得所述交易策略和所述价值数据。

8.基于强化学习的量化模型训练系统，其特征在于，所述系统包括：

模拟交易引擎，用于根据历史交易环境数据构建量化模型的交易环境；

数据获取模块，用于获取历史交易环境数据并输入模拟交易引擎；

交易策略模块，用于根据模拟交易引擎获得交易环境特征并输入量化模型，根据设定周期内的量化目标输出当前迭代下的多种交易策略和每种交易策略对应的价值数据；

更新模块，用于根据所述交易环境特征、所述交易策略和所述价值数据，扩展蒙特卡洛树当前节点的子节点并更新当前节点的搜索路径上中间节点的价值数据；搜索蒙特卡洛树并更新当前节点，获得当前节点对应的交易订单，并将所述交易订单输入所述模拟交易引擎；基于当前节点的搜索路径，获得对所述量化目标完成情况的评估结果，将所述评估结果作为奖励值反向更新所述量化模型。