[发明专利]一种基于深度增强学习算法的外汇交易方法及系统

权利要求书

1.一种基于深度增强学习算法的外汇交易方法，其特征在于，包括以下步骤：

1)对外汇交易场景建立增强学习Double-DQN模型；

2)构建深度神经网络模型并训练增强学习Double-DQN模型，学习Q函数；

3)加载训练好的模型参数，使用不同特征的训练数据集，重复步骤2)进行叠加训练和参数微调，且根据各自需要调整模型更新的周期，定期在不同特征的训练数据集上叠加训练，不断使用新特征的数据集训练模型，使模型拥有更好的扩展性和鲁棒性；其中，不同特征的训练数据集包括总体上升趋势、总体下降趋势、总体先上升再下降、总体先下降在上升、总体相对平稳这些特征，也能够基于国际外汇政策的变动、各国家的经济发展的变化采集对应时间段的数据集。

2.根据权利要求1所述的一种基于深度增强学习算法的外汇交易方法，其特征在于：在步骤1)中，使用外汇货币对的时间序列数据构建环境，深度神经网络构建智能代理，其中智能代理与环境进行交互，对增强学习的马尔科夫决策过程建模如下：

1)对于智能代理的状态空间{s_n}，定义为外汇价格序列和账户资产情况，其中账户资产情况使用自定义的指标或者附加其它的金融指标，自定义的指标有money_ask_t、money_bid_t、rate_t，分别表示ASK类型订单使用的金额占当前净资产的比重、BID类型订单使用的金额占当前净资产的比重和账户当前净资产占账户初始资产的比重，计算公式如下：

rate_t＝Account_t/Account_All

式中，lots_i表示对应订单交易的数量，默认0.01；standard_order，表示1标准手，为100000美元；pip表示外汇交易中的一个点，取值0.0001；lever表示杠杆；Account_t表示当前t时刻账户的净资产，Account_All表示账户初始资产；

智能代理的状态转移由其采取不同的动作而决定，从初始状态到最终状态称的一条状态转移轨迹为一个情节，称为episode；当账户当前净资产占账户初始资产比小于设定的阈值时，则进入最终状态，当前情节终止；

2)对于智能代理的动作空间A＝{-2,-1,0,1,2}，分别代表平卖动作、卖出动作、持有动作、买入动作、平买动作；对于五个交易动作，买入和卖出动作，会使用账户中的资金去交易，使账户中增加一笔ASK/BID订单，每次动作会交易0.01lots；对于平买动作，会把账户中ASK订单做平仓操作，平卖动作同理；持有动作，则保持账户中现有订单，不操作；

每个交易动作，都会改变账户资产的状态，并会产生即时回报r_t，即时回报计算公式如下：

dprice_t＝price_t+1-price_t

式中，N_orders表示账户当前的订单数；T(order_i)表示订单类型，ASK订单取值为0，BID订单取值为1；lots_i表示每笔订单交易的数量，默认0.01；standard_order，表示1标准手，为100000美元，dprice_t表示当前t时刻价格差，表示下一时刻的外汇价格与当前时刻外汇价格的差；lever表示采用的杠杆，默认取1。