[发明专利]一种基于深度强化学习的生命周期投资管理规划方法

权利要求书

1.一种基于深度强化学习的生命周期投资管理规划方法，其特征在于包括以下步骤：

①构建HPPO模型，所述的HPPO模型包括环境、智能体和多层感知机，所述的智能体包括两个Actor网络和一个Critic网络，其中一个Actor网络的采样方法为学生T分布采样方法，另一个Actor网络的采样方法为均匀分布采样方法；

②获取用户输入的参数；

③根据用户输入的参数初始化HPPO模型中的环境、智能体和多层感知机；

④对初始化后的HPPO模型进行训练，得到训练后的HPPO模型；

⑤根据预设的运行次数运行训练后的HPPO模型并输出所有轨迹策略；

⑥如果用户满意当前输出的所有轨迹策略，则用户接收当前输出的所有轨迹策略，并将该训练后的HPPO模型确定为适合该用户生命周期投资管理规划的个性化模型，完成生命周期投资管理规划；如果用户不满意当前输出的所有轨迹策略，则用户修改输入的参数，再执行步骤③，直至用户满意当前输出的所有轨迹策略，并接收当前输出的所有轨迹策略，并将该训练后的HPPO模型确定为适合该用户生命周期投资管理规划的个性化模型，完成生命周期投资管理规划。

2.根据权利要求1所述的一种基于深度强化学习的生命周期投资管理规划方法，其特征在于所述的步骤②中，所述的用户输入的参数包括规划的生命周期长度T、初始用于投资的资金w₀、t时刻需要完成的人生目标列表c_t，t时刻需要完成的目标效用列表u_t，每个需要完成的人生目标可被推迟实现的时间20岁至80岁的成年人死亡率每年可注入的最大资金max(infusion)、每个可投资资产包一年内的均值mean_z、每个可投资资产包一年内的方差variance_z以及随机两个可投资资产包一年内的协方差covariance_z，j；其中，t∈[0，T]，i∈[1，K]，K表示t时刻需要实现的人生目标总数，表示第i个在t时刻需要完成的人生目标，表示第i个在t时刻需要完成的目标效用，z∈[0，A]，j∈[0，A]，A表示可投资资产包的总数。

3.根据权利要求2所述的一种基于深度强化学习的生命周期投资管理规划方法，其特征在于所述的步骤③中，初始化HPPO模型中的环境、智能体和多层感知机的具体过程如下：

③-1先通过非线性最小二乘法拟合得到最符合第i个在t时刻需要完成的人生目标和第i个在t时刻需要完成的目标效用的CRRA曲线；然后根据每个可投资资产包一年内的均值mean_z、每个可投资资产包一年内的方差variance_z和随机两个可投资资产包一年内的协方差covariance_z,j计算并得到有效前沿线所需要的参数，所述的有效前沿线所需要的参数包括均值、方差和协方差；最后根据CRRA曲线、规划的生命周期长度T、初始用于投资的资金w₀、第i个在t时刻需要完成的人生目标第i个在t时刻需要完成的目标效用每个需要完成的人生目标可被推迟实现的时间20岁至80岁的成年人死亡率每年可注入的最大资金max(infusion)和有效前沿线所需要的参数初始化环境；

③-2定义环境给出的t时刻需要完成的人生目标列表c_t、剩余资产w_t以及时刻t为状态空间，定义环境需要输出的第i个在t时刻需要完成的人生目标在t时刻所有可投资资产包一年内的均值mean_t以及在t时刻可注入的资金infusion_t为动作空间，将状态空间和动作空间输入至多层感知机中初始化多层感知机的输入维度和输出维度，并以高斯初始化方法初始化智能体中两个Actor网络和Critic网络的每一层的参数，其中w_t-1表示在t-1时刻用于投资的资金，表示第i个在第t-1时刻需要完成的人生目标，Z表示从高斯分布中采样得到的随机数，variance表示可投资资产包一年内的均值为mean_t情况下，资产包组合所能达到的最小方差。