[发明专利]基于深度强化学习对银行风险定价的优化方法和装置

说明书

本公开提供了基于深度强化学习对银行风险定价的优化方法，对动作值函数网络参数和策略网络参数进行初始化；通过现有初始化的网络与银行模拟环境进行交互，完成初始化经验回放；通过均匀分布在经验回放池中采样，获取训练样本；通过动作值函数网络和策略网络的损失函数对当前网络的参数进行更新；经过多轮训练，通过预设的更新方式，将当前网络的参数复制到目标网络中以完成对银行风险定价的优化操作。该方法能够用沙盘模拟平台的仿真银行模拟环境，基于深度强化学习算法进行模型训练，得到可应用于真实银行经营和场景的模型，并推测出系统性风险约束下银行最优的风险定价。本公开还涉及基于深度强化学习对银行风险定价的优化装置。

技术领域

本公开涉及人工智能技术领域，具体而言，涉及基于深度强化学习对银行风险定价的优化方法和装置。

背景技术

当前我国商业银行在金融科技上的运用还主要集中在自然语言处理、客户画像、机器人流程自动化、云计算、区块链等领域。而在银行的经营管理策略制定和前瞻性场景分析中有较大的缺失。不同于美国和欧洲，由于我国商业银行没有“压力测试”的相关硬性规定，因此在以大数据模型为基础的经营模拟体系建设中普遍落后于国外银行。而由于缺少自主的经营模拟仿真体系，国内商业银行也无法有效的将更为前沿的深度强化学习技术运用到管理策略优化之中。

发明内容

为了解决现有技术中的技术问题，本公开实施例提供了基于深度强化学习对银行风险定价的优化方法和装置，能够用沙盘模拟平台的仿真银行模拟环境，基于深度强化学习算法进行模型训练，得到可应用于真实银行经营和场景的模型，并推测出系统性风险约束下银行最优的风险定价。

第一方面，本公开实施例提供了基于深度强化学习对银行风险定价的优化方法，所述方法包括：对动作值函数网络参数和策略网络参数进行初始化；通过现有初始化的网络与银行模拟环境进行交互，完成初始化经验回放；通过均匀分布在经验回放池中采样，获取训练样本；通过动作值函数网络和策略网络的损失函数对当前网络的参数进行更新；经过多轮训练，通过预设的更新方式，将当前网络的参数复制到目标网络中以完成对银行风险定价的优化操作。

在其中一个实施例中，还包括：当模型输出的银行净资产收益率数值落入预设范围内时，停止模型训练。

在其中一个实施例中，所述对动作值函数网络参数和策略网络参数进行初始化包括：对智能体的单轮策略，银行模拟环境状态以及单轮回报进行随机初始化。

在其中一个实施例中，所述通过现有初始化的网络与银行模拟环境进行交互，完成初始化经验回放包括：初始化银行模拟环境，得到初始状态；根据预设公式进行决策输出操作；与银行模拟环境进行交互获取当轮回报和下一轮的银行模拟环境状态信息；将四元组数据缓存到经验回放池中。

在其中一个实施例中，还包括：当经验回放池被存满，则利用先进先出的原则进行清理。

在其中一个实施例中，所述预设公式为：a_t＝μ(a_t│s_t,θ^μ)+N，其中，N为正态分布的随机噪声，其中，a_t代表动作；s_t代表环境；μ代表神经网络的参数；θ代表μ的参数。

在其中一个实施例中，还包括：通过一个神经网络来表征所述动作值函数，所述动作值函数表征在本轮状态下，采取预设对策后，在之后所有轮决策中获取累积回报的期望。

第二方面，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的方法的步骤。

第三方面，本公开实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法的步骤。