[发明专利]基于强化学习的量化模型训练方法、系统、终端及介质

说明书

本发明公开了一种基于强化学习的量化模型训练方法、系统、终端及介质，能够根据交易环境数据动态生成交易策略和交易策略的价值数据从而扩展并更新蒙特卡洛树，再根据蒙特卡洛树搜索路径评估量化目标的完成情况，将评估结果作为奖励值反向更新训练量化模型，训练后的量化模型能够根据交易环境数据动态生成交易策略。与现有技术相比，不用人为设定奖励值，而是通过蒙特卡洛树来自动生成奖励值以更新量化模型，使得量化模型优化效果好、鲁棒性高。

技术领域

本发明涉及数据处理技术领域，尤其涉及的是一种基于强化学习的量化模型训练方法、系统、终端及介质。

背景技术

当前的证券投资交易方式主要包括主观交易和量化交易。其中，量化交易是指以先进的数学模型替代人为的主观判断，并通过程序化交易严格执行量化交易策略。

目前，训练量化模型时和训练普通的网络模型一样，训练过程中需要人为根据交易情况以及股市状态设置奖励值指导量化模型更新，而金融环境复杂、影响因子数量多、不易评估，人为设置的奖励值很难真正反应量化策略的价值。也就是说，现有的训练方法获得的量化模型鲁棒性差，量化模型的优化效果不佳。

因此，现有技术有待改进和提高。

发明内容

本发明的主要目的在于提供一种基于强化学习的量化模型训练方法、系统、智能终端及存储介质，旨在解决现有的量化模型需要人为设定奖励值、量化模型优化效果不佳的问题。

为了实现上述目的，本发明第一方面提供一种基于强化学习的量化模型训练方法，所述方法包括：

获取历史交易环境数据并输入模拟交易引擎；

根据模拟交易引擎获得交易环境特征并输入量化模型，根据设定周期内的量化目标输出当前迭代下的多种交易策略和每种交易策略对应的价值数据；

根据所述交易环境特征、所述交易策略和所述价值数据，扩展蒙特卡洛树当前节点的子节点并更新当前节点的搜索路径上中间节点的价值数据；

搜索蒙特卡洛树并更新当前节点，获得当前节点对应的交易订单，并将所述交易订单输入所述模拟交易引擎；

基于当前节点的搜索路径，获得对所述量化目标完成情况的评估结果，将所述评估结果作为奖励值反向更新所述量化模型；

返回所述根据模拟交易引擎获得交易环境特征以进行下一次迭代。

可选的，所述根据所述交易环境特征、所述交易策略和所述价值数据，扩展蒙特卡洛树当前节点的子节点，包括：

基于所述交易策略和所述交易环境特征，扩展所述当前节点的所有子节点，每个所述子节点用于反映一种交易策略并设定所述子节点的值为对应的价值数据。

可选的，所述对量化模型进行训练，还包括：

所述设定周期的交易结束时，获得对所述设定周期内的量化目标完成情况的评估结果；

基于所述评估结果，更新蒙特卡洛树当前节点的搜索路径上中间节点对应的价值数据；

基于更新后的蒙特卡洛树，对量化模型进行迭代更新。

可选的，所述获得对所述设定周期内的量化目标完成情况的评估结果，包括：

基于模拟交易引擎，根据基线算法获得第一交易完成率和第一交易价格；

基于蒙特卡洛树，获得第二交易完成率和第二交易价格；

比较所述第一交易完成率、第二交易完成率以及第一交易价格和第二交易价格，获得所述评估结果。

可选的，所述量化模型的收敛条件为所述设定周期内量化模型获得的交易完成率大于或等于基线算法获得的交易完成率且量化模型获得的冲击成本小于基线算法获得的冲击成本。

可选的，所述交易环境特征还包括价格波动率，计算价格波动率的表达式为：，其中，Q为价格波动率，为t时刻订单簿中交易对方价格一档，为t-1时刻订单簿中交易对方价格一档。