[发明专利]一种基于强化学习构建分子反应力场的系统及方法

权利要求书

1.一种基于强化学习构建分子反应力场的方法，执行该方法的系统包括输入输出模块、参数与配置模块、分子动力学接口模块、环境设置模块、优化模块；

输入输出模块用于输入目标分子的初始反应力场描述文件和输出优化力场文件，并将初始反应力场描述文件传输至参数与配置模块；

参数与配置模块用于读取初始反应力场描述文件对文件进行解析，根据解析后的初始反应力场描述文件用户选择算法并载入与该算法相对应的强化学习模型，并将强化学习模型传输至优化模块；

环境设置模块用于保存数据和输出初始力场参数，将初始力场参数输出至分子动力学接口模块，所述保存数据包括目标分子的几何文件、目标分子的参考训练集和目标分子的参数集；

分子动力学模块用于提取环境设置模块中的力场参数并进行分子动力学模拟获取目标分子的材料物性误差，并将获得的误差输出至优化模块；

优化模块用于根据目标分子的材料物性误差对力场参数进行优化，并根据优化后的力场参数形成优化力场文件，将得到的优化力场文件传输至输入输出模块；

所述方法其特征在于：包括以下步骤：

步骤1：用户通过输入输出模块输入目标分子的初始反应力场描述文件，并解析该文件，用户在解析后的初始反应力场描述文件中选择用户需要的算法并载入与该算法相对应的强化学习模型；

所述的目标分子的初始反应力场描述文件的解析方法为：通过正则表达式删除注释、定位数据区、识别头文件和分隔符，并将解析后的数据保存到列表容器中，封装成为方便对其进行读写操作的对象；定位待优化的参数，封装待优化的参数，然后对运算符进行重载；

步骤2：根据目标分子从环境设置模块选取初始力场参数Q＝{q₁，q₁，…q_n}，其中n代表初始力场参数总数；所述环境设置模块中包括目标分子的几何文件、目标分子的参考训练集和目标分子的参数集；

步骤3：采用分子动力学模块对初始力场参数进行分子动力学模拟，获取目标分子的材料物性数据；并通过奖励函数获取误差Δerr1；

步骤4：调整初始力场参数大小继续进行模拟，通过奖励函数获取误差Δerr2；

步骤5：比较误差Δerr2与误差Δerr1，判断力场参数调整方向；若判断误差减小，则保存调整后的力场参数Q′＝{q′₁，q′₁，…q′_n}，执行步骤6；若误差增大，则反向调节力场参数，并返回步骤4；

步骤6：将步骤1中选择的强化学习模型加以训练，基于强化学习算法产生训练后的力场参数Q″＝{q″₁，q″₁，…q″_n}，比较训练后力场参数与步骤2中选取的初始力场参数或步骤5中得到的调整后的力场参数，将两者的差值与预设误差值进行判断，若其两者的差值大于预设误差值，则执行步骤4；若其两者的差值小于等于预设误差值，则将训练后力场参数Q″＝{q″₁，q″₁，…q″_n}转换为优化力场文件，将优化力场文件传输至输入输出模块并输出优化力场文件；

所述强化学习算法采用了优先回放机制，选择TD偏差δ作为设置采样权重的标准，TD偏差大，该状态处的值函数与TD目标的差距大，观察序列j处对应的TD偏差为δ_j，则该观察序列处的采样概率为：

其中，P(j)表示观察序列j处的采样概率，p_j^ε表示在采样率为ε时在观察序列j处的采样率，p_k^ε表示在采样率为ε时在观察序列集k的采样率之和，其中p_k^ε由TD偏差δ_j决定，这里rank(j)根据|δ_j|的排序得到；

训练过程中使用的参数更新如下式所示：

其中θ_t+1是更新后的参数，θ_t表示更新前的参数，s代表更新前状态，a表示当前动作，θ表示当前参数，s′代表更新后状态，a′表示下一动作，通过函数获得，θ^-表示下一参数，α表示根据输入条件选择的学习率，表示TD目标值，其中r表示误差变化率reward，γ表示折扣因子，是使得(s′,a′；θ)取得最大值所对应的a′，表示状态为s′，动作为a′，参数为θ^-的奖赏最大值，Q(s,a；θ)为状态为s，动作为a，参数为θ的奖赏值，▽Q(s,a；θ)是状态为s，动作为a，参数为θ的奖赏变化。