[发明专利]一种基于交易者行为建模的金融证券交易模型的训练方法

权利要求书

1.一种基于交易者行为建模的金融证券交易模型的训练方法，其特征在于：包括基于机器学习、对抗学习构建的具有不同行为交易者的虚拟证券市场和基于强化学习的自动智能金融证券交易择时策略搜索两个部分；其中所述虚拟证券市场部分包括金融证券数据处理系统、交易者模型和交易者类别分布预测模型；交易者模型通过生成对抗模仿学习在历史数据中学习训练获得，交易者模型在不同时刻会根据学得的交易策略做出不同的买卖动作；交易者类别分布预测模型是预测不同类别交易者的规模，交易者类别分布预测模型也是基于生成对抗模仿学习算法进行训练；自动智能金融证券交易择时策略搜索部分，基于强化学习算法在虚拟证券市场中训练证券市场择时交易策略，搜索出泛化性能更强的策略，最大化交易者的收益。

2.根据权利要求1所述的基于交易者行为建模的金融证券交易模型的训练方法，其特征在于：所述金融证券数据处理系统是虚拟证券市场的第一个重要组成部分，该系统包含一个金融证券订单撮合引擎，功能是按照交易规则，撮合不同交易者提交的订单请求，并记录证券市场中的数据；

证券市场的原始数据，无论形式或者结构都不适合直接用来对模拟器的训练，因此需要针对原始数据制作符合训练要求的专家数据，制作过程如下：

首先，把原始数据的信息，计算并记录相应的技术面相关的指标数据；

其次，把专家数据划分为多条不跨日的固定长度的序列，每个序列分成交易者类别分布预测序列S_ce以及用于不同行为交易者策略模型训练的序列数据S_ae；

最后，把生成的S_ce和S_ae序列数据归一化，作为虚拟证券市场模型训练的输入。

3.根据权利要求1所述的基于交易者行为建模的金融证券交易模型的训练方法，其特征在于：不同行为的交易者模型目标为利用专家数据训练出具有不同交易行为的交易者模型，交易者交易者类别分布预测模型目标则为训练出预测这些交易者分布的模型，通过以上二者的训练，能够接近真实地模拟金融证券交易环境；将交易者模型以及交易者类别分布预测模型的训练过程联合起来，对二者进行迭代训练；联合训练时，不同策略的交易者模型以及交易者类别分布预测模型的训练过程包括以下步骤：

1）建立若干神经网络作为交易者模型以及交易者类别模型；

2）随机获取一条专家数据(S_ce, S_ae)，把交易者类别分布预测序列S_ce输入到交易者类别分布预测模型，得到交易者类别向量q，向量q的维度为交易者类别数；把用户行为训练序列S_ae的第一条S_ae[0]输入到金融证券数据处理系统环境，初始化金融证券数据处理系统；

3）从数据处理系统中获取当前状态s，每个交易者模型i都确定自己的行为a_i，结合交易者类别向量q，生成买卖单序列；

4）把这些生成的买卖单作随机化处理，并在数金融证券据处理系统中撮合生成下一个状态s`；

5）把s`输入到判别模型D中得到评分r；

6）根据3）~5）步得到每个时刻的s0，s1………sn组成证券市场生成数据序列轨迹S_g，使用强化学习算法更新交易者模型，并与对应的专家数据用户行为训练序列S_ae输入到判别模型D中，一起更新判别模型；

7）从第2）步重复，每隔预设的迭代数，使用历史的预测序列S_ce，对应的分布向量q以及对应的评分r，利用强化学习算法对人群预测模型的参数进行更新，人群预测模型与交易者模型共用r；

8）直到达到迭代次数，训练停止。

4.根据权利要求1所述的基于交易者行为建模的金融证券交易模型的训练方法，其特征在于：所述基于强化学习的自动智能金融证券交易择时策略搜索的流程为：

1）初始化交易者生成随机参数，初始化虚拟证券市场环境状态为S；

2）根据状态S的输入，交易者输出动作A；

3）通过动作A生成交易订单，在虚拟证券市场中进行撮合交易，返回下一状态S’以及奖赏值R，这里R可以是利润或者夏普率；

4）把当前的状态S赋值为S’；

5）根据2）～4）得到一个交易序列轨迹，使用强化学习算法更新交易者模型；

6）重复上面的步骤，直到交易者的策略能够获得最大的积累的奖赏值。