[发明专利]基于强化学习的特征提取方法、装置和计算机设备

权利要求书

1.一种基于强化学习的保险业务数据处理方法，其特征在于，包括如下步骤：

获取学习对象的特征提取代码；所述特征提取代码根据人工编写确定，学习对象是保险推荐项目，具有给定是否为用户提供保险和保险价格的任务，针对所述学习对象的网络模型进行强化学习时，学习的是针对不同用户推荐保险及其价格的技能；

获取保险业务数据，根据所述特征提取代码对保险业务数据进行特征提取，获取所述学习对象的状态特征，将保险业务收益问题建模为马尔可夫决策过程，并定义其中的状态、动作、状态转移函数以及奖赏函数，所述状态为学习对象的状态特征，所述状态特征包括用户的投保状态；

通过强化学习收益评估函数，采用所述状态特征训练基于强化学习的深度网络结构，包括：通过所述强化学习收益评估函数，确定所述状态特征对应的收益优化策略；根据所述收益优化策略，更新所述特征提取代码；根据更新后的特征提取代码更新所述状态特征，得到更新后的状态特征；根据更新后的状态特征，训练所述深度网络结构，收益优化策略包括对保险的定价调整，使保险收益最大化；

获取训练后的深度网络结构的最优网络结构和最优权重参数；

根据所述最优网络结构和所述最优权重参数，生成最优特征提取策略；所述最优特征提取策略用于提取保险业务用户的画像特征，以便根据所述画像特征解析所述保险业务用户的投保需求；

获取用户数据，结合最优网络结构和最优权重参数解析用户数据，向用户推荐保险业务，计算是否为用户提供保险和保险价格。

2.根据权利要求1所述的方法，其特征在于，所述强化学习收益评估函数表示为R(s，α，W)，其中的s表示用于描述特征提取系统状态的所有信息，α表示用于增加收益R的一个特征提取代码修改动作，R本身作为一个深度网络结构，W表示深度网络结构中的权重/偏差参数，作用于s。

3.根据权利要求2所述的方法，其特征在于，所述收益优化策略是指将强化学习收益评估函数中收益R调至最大的动作α，收益优化策略包括了参数W对样本s的加权调节。

4.根据权利要求3所述的方法，其特征在于，所述根据更新后的状态特征，训练所述深度网络结构，包括：

根据更新后的状态特征，计算所述深度网络结构的真实收益，以及，获取历史预估收益；所述历史预估收益为所述深度网络结构在训练前的预估收益；

将所述历史预估收益与所述真实收益进行比较，确定权重参数调整策略；

根据所述权重参数调整策略，对所述深度网络结构的权重参数进行调整；

按照预设的权重调整次数重复执行上述步骤，直至训练所述深度网络结构得到所述最优网络结构及其对应的最优权重参数。

5.根据权利要求4所述的方法，其特征在于，所述根据所述权重参数调整策略，对所述深度网络结构的权重参数进行调整，包括：

根据所述权重参数调整策略，更新所述真实收益，得到目标真实收益；

计算所述目标真实收益与所述历史预估收益的误差，作为所述深度网络结构的损失参数；

根据所述损失参数，对所述深度网络结构的权重参数进行梯度计算，得到偏导数；

根据所述偏导数，对所述深度网络结构的权重参数进行调整。

6.根据权利要求1所述的方法，其特征在于，所述获取训练后的深度网络结构的最优网络结构和最优权重参数，包括：

根据预设的深度网络结构重复训练次数，获取所述深度网络结构的多个真实收益；

识别所述多个真实收益中的真实收益最大值；

确定所述真实收益最大值对应的深度网络结构作为所述最优网络结构，并确定所述最优网络结构的权重参数作为最优权重参数。

7.根据权利要求1所述的方法，其特征在于，所述特征提取代码为结构化查询语言(SQL)代码。