[发明专利]一种基于深度强化学习A3C算法的金融交易方法

摘要

本发明公开了一种基于深度强化学习A3C算法的金融交易方法，所述方法包括：构建模拟交易环境，采集历史分钟数据并预处理，得到待输入向量；初始化A3C模型；工作者线程与模拟交易环境的副本交互，并将待执行的动作发送到模拟交易环境的副本；模拟交易环境的副本接跳转到下一个交易状态，计算奖赏值，将下一交易状态和奖赏值发送至智能交易体；交易智能体分别计算工作者线程的策略网络和评估网络的权值梯度并发送至全局网络；全局网络更新权值，重复工作线程的交互直到A3C模型训练完毕；使用全局网络对待执行的交易操作进行选择。本发明通过市场历史数据不断地交互训练模型，得到稳定的交易策略，避免引入大量的专家知识，动态适应环境变化并更新策略。

主权项

1.一种基于深度强化学习A3C算法的金融交易方法，其特征在于，所述方法包括以下步骤：S1：构建模拟交易环境，通过模拟交易环境的数据接口采集金融市场的历史分钟数据，将历史分钟数据进行缺省值处理完毕后，再做归一化处理，得到历史分钟数据指标；同时分别计算按分钟的简单移动平均指标和按分钟的指数移动平均指标，将归一化处理后的历史分钟数据指标和按分钟的简单移动平均指标、按分钟的指数移动平均指标组合得到待输入向量；S2：初始化包含在智能交易体中的A3C模型，所述A3C模型包含有一个全局网络和若干工作者线程，所述全局网络的结构和每一个工作者线程的结构均相同；所述工作者线程均包括有评估网络和策略网络，所述评估网络和策略网络共用若干隐含层；所述A3C模型创建工作者线程时，模拟交易环境同时创建模拟交易副本；所述待输入向量通过输入层输入至工作者线程，然后通过若干隐含层处理，隐含层的最终输出分别输入至策略网络和评估网络，策略网络和评估网络分别对应输出策略网络输出向量和评估网络输出向量，所述若干工作者线程输出的策略网络输出向量和评估网络输出向量共同作为全局网络的输入，所述全局网络的输入经过全局网络的处理最终得到全局网络的输出；所述全局网络的权值使用随机初始化，每一个工作者线程的网络权重与全局网络权重同步初始化；S3：每一个工作者线程与一个模拟交易环境的副本进行交互，所述模拟交易环境副本的数目与工作者线程的数目相同；利用工作者线程中策略网络的输出向量和评估网络输出值计算需要执行的交易动作，并将动作发送到模拟交易环境的副本；S4：模拟交易环境的副本接收到交易动作，跳转到下一个交易状态s_t+1，根据交易动作前后的交易状态计算奖赏值r_t，奖赏值计算完成后，模拟交易环境的副本将下一交易状态s_t+1和奖赏值r_t发送到交易智能体；S5：交易智能体接收到s_t+1和r_t，分别计算工作者线程的策略网络权值梯度和评估网络权值梯度，每个工作者线程将各自的策略网络权值梯度和评估网络权值梯度发送至全局网络；S6：全局网络接收到各工作者发送的策略网络权值梯度和评估网络权值梯度后，更新全局网络的网络权值，全局网络权值更新完成后，以s_t+1作为工作者线程的新的输入，重复步骤S3直到达到设定的步数或累计奖赏收敛，此时A3C模型训练完毕；S7：A3C模型训练完毕后，使用全局网络对待执行的交易操作进行选择，模拟交易环境从交易所接收行情数据，计算待输入向量作为全局网络输入，根据全局网络中策略网络输出的最大概率值选取下一目标持仓量，通过ctp自动化交易接口下订单使得当前仓位达到目标仓位。