[发明专利]基于深度强化学习的股票量化交易方法、存储介质及设备

权利要求书

1.一种基于深度强化学习的股票量化交易方法，其特征在于，包括以下步骤：

S1、获取基本面数据并进行预处理，构建技术指标因子；

S2、根据步骤S1的基本面数据和技术指标因子构建深度残差网络，定义深度强化学习模型并进行训练；

S3、对步骤S2训练好的深度强化学习模型进行回测，分析回测结果验证强化学习模型的有效性；

S4、利用步骤S3回测后的深度强化学习模型构建股票池，获取每只股票的历史数据，传入步骤S3训练好的目标网络中，计算对应采取动作，完成交易策略构建，根据策略实现股票量化交易。

2.根据权利要求1所述的基于深度强化学习的股票量化交易方法，其特征在于，步骤S1具体为：

S101、采用聚宽量化平台提供的API接口获取股票的日线数据，对日线数据进行预处理后存入本地数据库；获取基本数据后，对数据进行清洗，计算数据的技术指标，然后存入数据库中；

S102、采用均值方式对步骤S101获取的基本数据中的缺失情况进行填充；

S103、对步骤S101和步骤S102的数据进行归一化处理。

3.根据权利要求2所述的基于深度强化学习的股票量化交易方法，其特征在于，步骤S102中，采用均值方式进行填充，填充结果X具体为：

其中，n为获取数据的个数，x_i为第i个数据的取值。

4.根据权利要求1所述的基于深度强化学习的股票量化交易方法，其特征在于，步骤S2具体为：

S201、定义强化学习用于探索环境，根据当前环境模拟投资者做出买入，卖出或持有动作，采取一个动作之后能够带来收益的变化当作奖励值，使用探索环境所产生的数据深度强化学习当中的深度残差网络；

S202、深度神经网络采用7层残差神经网络，包括两个结构完全相同的深度神经网络，一个为当前值网络，一个为目标值网络，当前值网络用于时时根据当前的状态计算动作值函数的到当前状态下应该采用的动作；目标值网络用计算的结果构建损失函数更新参数，并将当前值网络的参数拷贝给目标值网络；作为模型结构构建深度强化学习算法模型；

S203、采用强化学习的所探索的数据作为当前值与目标值网络的输入，动作值函数作为输出，对步骤S202构建的模型进行训练。

5.根据权利要求4所述的基于深度强化学习的股票量化交易方法，其特征在于，步骤S203具体为：

S2031、根据网络结构使用Tensorflow构建两个结构相同的深度残差网络并随机初始化网络参数；

S2032、深度强化学习模型获取当前时刻市场所处的状态St并传入步骤S2031所构建的网络当前值网络当中，计算此时所要采取的动作at；

S2033、模型执行动作at并计算采取对应动作之后所到达的下一状态St+1，以及所获取的奖励值R；

S2034、将本轮的转换序列(St，at，St+1，R)存入记忆回放单元，并检查是否到达最后一个状态；

S2035、若还未到达最后一个状态则跳转至步骤S2032继续探索，否则使用记忆回放单元中所存储的数据依据奖励最大化的原则优化网络参数，并将网络参数拷贝给目标值网络；

S2036、判断整个训练过程是否结束，若未结束则跳转至步骤S2032开始下一轮的探索学习；否则训练过程结束，将目标值网络的模型及学习好的参数存储到本地即为训练好的模型。

6.根据权利要求5所述的基于深度强化学习的股票量化交易方法，其特征在于，步骤S2033中，奖励值R等于当前状态本身的值函数加上执行动作at后所获取的后续奖励，具体计算如下：

R＝Rt+(CLOSEt-OPENt)*Volume

其中，CLOSEt表示t时刻的收盘价，OPENt表示t时刻的开盘价，Rt表示所获取的收益，Volume表示每次的交易量。