[发明专利]一种基于深度强化学习的生命周期投资管理规划方法

说明书

本发明公开了一种基于深度强化学习的生命周期投资管理规划方法，特点是构建HPPO模型；获取用户输入的参数；初始化HPPO模型中的环境、智能体和多层感知机；对初始化后的HPPO模型进行训练，得到训练后的HPPO模型；运行训练后的HPPO模型并输出所有轨迹策略；如果用户满意当前输出的所有轨迹策略，则用户接收当前输出的所有轨迹策略；如果用户不满意当前输出的所有轨迹策略，则用户修改输入的参数；优点是采用多层感知机和概率采样处理连续空间的决策问题，避免连续空间离散化带来的解空间减少的问题，并且可以通过修改用户输入的参数来初始化HPPO模型，能适应真实问题的变化，增强了泛化性。

技术领域

本发明涉及生命周期投资管理规划方法，尤其是一种基于深度强化学习的生命周期投资管理规划方法。

背景技术

生命周期投资管理规划主要通过规划投资和消费来实现用户在生命周期内的效用回报最大化。现有的生命周期投资管理规划方法一般是将连续空间离散化后采用网格形式来进行财富和投资包的选择，然后利用时间序列进行动态规划方法(DynamicProgramming，DP)的反向填表，然而把财富波动和投资包离散化后，无法处理连续决策空间的问题，导致解空间变小，从而导致一些生命周期投资管理规划的解丢失，并且由于DP的建模技术本身缺失泛化性，其无法适应环境的变化。

发明内容

本发明所要解决的技术问题是提供一种基于深度强化学习的生命周期投资管理规划方法，不但能处理连续决策空间的问题，而且增强了泛化性，能适应环境的变化。

本发明解决上述技术问题所采用的技术方案为：一种基于深度强化学习的生命周期投资管理规划方法，包括以下步骤：

①构建HPPO(Hybrid Proximal Policy Optimization，混合空间的近端优化)模型，所述的HPPO模型包括环境、智能体和多层感知机，所述的智能体包括两个Actor(演员)网络和一个Critic(评论家)网络，其中一个Actor网络的采样方法为学生T分布采样方法，另一个Actor网络的采样方法为均匀分布采样方法；

②获取用户输入的参数；

③根据用户输入的参数初始化HPPO模型中的环境、智能体和多层感知机；

④对初始化后的HPPO模型进行训练，得到训练后的HPPO模型；

⑤根据预设的运行次数运行训练后的HPPO模型并输出所有轨迹策略；

⑥如果用户满意当前输出的所有轨迹策略，则用户接收当前输出的所有轨迹策略，并将该训练后的HPPO模型确定为适合该用户生命周期投资管理规划的个性化模型，完成生命周期投资管理规划；如果用户不满意当前输出的所有轨迹策略，则用户修改输入的参数，再执行步骤③，直至用户满意当前输出的所有轨迹策略，并接收当前输出的所有轨迹策略，并将该训练后的HPPO模型确定为适合该用户生命周期投资管理规划的个性化模型，完成生命周期投资管理规划。

所述的步骤②中，所述的用户输入的参数包括规划的生命周期长度T、初始用于投资的资金w₀、t时刻需要完成的人生目标列表c_t，t时刻需要完成的目标效用列表u_t，每个需要完成的人生目标可被推迟实现的时间20岁至80岁的成年人死亡率每年可注入的最大资金max(infusion)、每个可投资资产包一年内的均值mean_z、每个可投资资产包一年内的方差variance_z以及随机两个可投资资产包一年内的协方差covariance_z，j；其中，t∈[0，T]，i∈[1，K]，K表示t时刻需要实现的人生目标总数，表示第i个在t时刻需要完成的人生目标，表示第i个在t时刻需要完成的目标效用，z∈[0，A]，j∈[0，A]，A表示可投资资产包的总数。

所述的步骤③中，初始化HPPO模型中的环境、智能体和多层感知机的具体过程如下：