[发明专利]一种基于深度增强学习算法的外汇交易方法及系统

说明书

本发明公开了一种基于深度增强学习算法的外汇交易方法及系统，包括步骤：1)对外汇交易场景建立增强学习Double‑DQN模型；2)构建深度神经网络模型并训练增强学习Double‑DQN模型，学习Q函数；3)加载训练好的模型参数，使用不同特征的训练数据集，重复步骤2)进行叠加训练和参数微调，根据各自需要调整模型更新的周期，定期在不同特征的训练数据集上叠加训练，不断使用新特征的数据集训练模型，使模型拥有更好的扩展性和鲁棒性。本发明使模型能够在不同的数据环境下做出有效的外汇交易动作，并利用不同的训练集对模型进行叠加训练，使模型能在复杂外汇数据流的环境下，更加健壮和鲁棒。

技术领域

本发明涉及机器学习中的深度学习、增强学习的技术领域，尤其是指一种基于深度增强学习算法的外汇交易方法及系统，基于深度增强学习算法Double-DQN在外汇交易平台Metatrader4的应用，同时还需要异步消息队列ZMQ进行跨平台的进程通信作为实时智能交易的技术支撑。

背景技术

传统的机器学习方法用于金融交易，通常是有监督算法学习数据特征的过程。常用的方法是构建多特征的训练数据，首先根据经验或者金融指标，对训练数据进行标记，再使用有监督的分类算法进行建模和学习，最后在测试集上测试。有监督的机器学习算法，训练样本之间独立同分布，对于分类问题往往追求准确率，即追求单次交易或行为所带来的收益。但是，金融数据背后可能蕴藏着各种潜在因素，包括人为调控的随机因素、国家政策因素、经济发展因素等，追求单次的收益，并不能带来长远的利润。同时，在复杂的潜在因素影响下，传统的机器学习特征提取的能力显得极为有限，需要更高层次的抽象才能更好地学习数据特征。

增强学习，本质是一个马尔科夫决策过程，包含环境和智能代理两个核心部分，智能代理与环境进行交互，伴随状态转移和感知环境给予的奖励，如图4-1。因此，可以通过一个神经网络模型作为智能代理，利用每次动作产生的状态转移和即时回报去训练模型，使智能代理与环境交互产生的动作序列带来的累计回报达到最大。使用这样的方式训练模型，学习的是与环境交互的策略，该策略兼顾了当前情况下的即时回报和未来的回报，因此每次采取的动作都是一个具有长远考虑的最优决策。

深度学习与增强学习的结合称为深度增强学习Deep Reinforcement Learning(DRL)，即用深度神经网络去提取数据特征，训练增强学习算法模型，使得模型能够充分学习复杂外部环境的规律，并在不同的环境下做出正确的动作，并且在长期的交互中，获得较高的累计回报。

因为外汇市场广阔，受限于各种政策、经济因素，人为操纵的随机性比较小，适合用以结合人工智能的新技术去研究，因此本发明提出了一种基于深度增强学习算法的外汇交易方法及系统。

发明内容

本发明的目的在于克服现有技术的不足，提出了一种行之有效、科学合理的基于深度增强学习算法的外汇交易方法及系统，将人工智能的技术与外汇交易相结合。

为实现上述目的，本发明所提供的技术方案，如下：

一种基于深度增强学习算法的外汇交易方法，包括以下步骤：

1)对外汇交易场景建立增强学习Double-DQN模型；

2)构建深度神经网络模型并训练增强学习Double-DQN模型，学习Q函数；

3)加载训练好的模型参数，使用不同特征的训练数据集，重复步骤2)进行叠加训练和参数微调，且根据各自需要调整模型更新的周期，定期在不同特征的训练数据集上叠加训练，不断使用新特征的数据集训练模型，使模型拥有更好的扩展性和鲁棒性；其中，不同特征的训练数据集包括总体上升趋势、总体下降趋势、总体先上升再下降、总体先下降在上升、总体相对平稳这些特征，也能够基于国际外汇政策的变动、各国家的经济发展的变化采集对应时间段的数据集。