[发明专利]一种基于交易者行为建模的金融证券交易模型的训练方法

说明书

本发明公开一种基于交易者行为建模的金融证券交易模型的训练方法，主要包括基于机器学习、对抗学习构建的具有不同行为交易者的金融证券交易市场模拟器和基于强化学习的自动金融证券交易策略搜索两个部分。本发明可应用于多种金融证券交易，包括证券市场中的证券产品，如股票，债权，衍生市场产品如股指期货、期权、外汇期货等。本发明为金融证券交易市场人员和研究人员提供了实时动态的证券市场环境的训练方法，可以在不需要真实金钱、时间开销的情况下，开发与训练客观的金融证券交易策略。

技术领域

本发明涉及一种基于交易者行为建模的金融证券交易模型的训练方法，是一种基于模拟器训练的方法，属于量化模型技术领域。

背景技术

目前证券市场的交易策略模型一般根据金融证券市场的历史数据来构建，比如阿尔法模型，风险控制模型等。交易者可以通过这些模型进行资产组合管理、风险控制。交易者编写执行程序后，执行程序能够自动地执行策略模型的决策。量化交易策略定制的难点一方面在于市场蕴含的复杂的非线性规律，很难单纯通过简单的线性模型建模，另一方面在于海量数据处理需要极大的人力物力。人工智能、机器学习算法能够建模非线性关系、处理大规模数据，在量化交易领域已经有了一定程度的应用。

证券市场的交易策略的学习过程，无论采用阿尔法模型分析还是数据驱动的分析，最后都可以看作是一个决策的过程。交易者采用的价格、买卖的方向以及交易的金融证券手数，是一个典型的马尔可夫决策过程（MDP），而传统的 MDP 难以求解交易市场的长时序决策过程，采用基于强化学习（Reinforcement Learning）相关模型的训练方法可以高效求解。当前大多数证券市场模拟环境或者回测系统，都假设交易者对于环境不造成影响，但是往往交易者会对环境造成影响，而且如果是大单交易者，则会对环境造成很大的影响，从而导致历史回测数据不能完全真实表示交易前后的变化。同时，由于证券市场交易策略模型的训练需要频繁与环境交互，来优化和更新策略，但是在真实的金融证券环境中运行的成本比较大，直接在真实的证券市场系统中训练交易策略是不现实的。

因此，在证券市场的交易策略学习任务中，亟需一种新型的基于模拟器的技术方案来解决以上问题，它能够接近真实地模拟金融证券交易环境，并支持基于强化学习相关算法的证券市场交易策略的学习。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明提供一种基于交易者行为建模的金融证券交易模型的训练方法。

技术方案：一种基于交易者行为建模的金融证券交易模型的训练方法，包括基于机器学习、对抗学习构建的具有不同行为交易者的虚拟证券市场和基于强化学习的自动智能金融证券交易择时策略搜索两个部分，其中所述虚拟证券市场部分包括金融证券数据处理系统、交易者模型和交易者类别分布预测模型；交易者模型通过生成对抗模仿学习在历史数据中学习训练获得，交易者在不同时刻具有不同的策略（买、卖或者不做操作）；交易者类别分布预测模型是预测不同类别交易者的规模，交易者类别分布预测模型也是基于生成对抗模仿学习算法进行训练；自动智能金融证券交易择时策略搜索部分，基于强化学习算法在虚拟证券市场中训练证券市场择时交易策略，搜索出泛化性能更强的策略，最大化交易者的收益。

本发明方法可应用于多种金融证券交易，包括如证券市场中的证券产品，如股票，债权，衍生市场产品如股指期货、期权、外汇期货等。

该虚拟证券市场通过模拟真实证券市场中各类交易者之间的交互行为，产生证券市场数据，这些数据中包含金融证券的实时价格、成交金额、盘口等。而通过生成对抗模仿学习，该技术可以不断提升虚拟证券市场的真实性，使其能够准确的模拟出真实的证券市场情况。

金融证券交易择时策略搜索部分，从某个具体的单个交易者出发，使其不断地与虚拟证券市场产生交互，再通过使用强化学习算法，最大化其在虚拟证券市场中的收益，从而得以找出一个有效的交易策略。