[发明专利]一种基于Q学习的三重四极质谱仪参数优化策略计算方法

权利要求书

1.一种基于Q学习的三重四极质谱仪参数优化策略计算方法，其特征在于包括：

质谱仪的参数优化方法，即为参数不断调整的过程，将质谱仪的参数优化过程抽象成马尔可夫决策过程，从当前参数组合经过操作后，转移到下一个参数组合；参数组合仅仅取决于上一参数组合，同更早之前的参数组合无关；

基于Q学习算法计算得到的质谱仪参数优化方法，所述Q学习即为Q-learning，在一段时间内均可适用于质谱仪参数的优化，而无需重新计算，直接使用策略即可进行参数优化，用于提升了仪器的调谐效率，节省了实验人员的精力和时间；

定义(p₁,…,p_M)^T为质谱仪待优化的M个参数组合，(p_1n,…,p_Mn)^T为在时刻n时的参数组合，定义g(i,a,j)为从状态i经过操作a后转移到状态j的单次代价函数，其中i为一种参数组合，j为另一种参数组合；

定义Q^*(i,a)为状态-操作对(i,a)的Q因子，其中b∈A，根据Bellman方程可以得到下式：

其中p_ij(a)为状态i经过操作a转移到状态j的转移概率，γ是折扣因子，为小于1的正数，近似式(1)得到式(2)：

对式(2)应用逼近算法，得到式(3)，其中η为学习率参数：

简化式(3)算法，忽略转移概率，得出下面的迭代算法式(4)～式(6)：

Q_n+1(i,a)＝(1-η_n(i,a))Q_n(i,a)+η_n(i,a)[g(i,a,j)+γJ_n(j)] (4)

Q(i,a)＝Q_n+1(i,a) (6)

迭代算法的具体实现步骤如下：

S1、初始化算法中所有状态-操作对(i,a)的Q因子Q₀(i,a)；

S2、执行式(4)和式(5)，计算所有的Q因子Q_n(i,a)；

S3、更新所有状态-操作对(i,a)的Q因子，式(6)，即更新Q值表；

S4、是否满足算法终止条件，满足则算法终止，否则返回步骤2。

2.根据权利要求1所述的一种基于Q学习的三重四极质谱仪参数优化策略计算方法，其特征在于：算法的终止条件为：|Q_n+1(i,a)-Q_n(i,a)|≤ρ，其中ρ为预先设定的一个正数，在确定了状态-操作对(i,a)的Q因子后，即可确定优化参数的最佳策略：

操作集合A中有2M+1种操作，参数组合(p₁,…,p_M)^T的操作分别有：(0,…,0)^T、(±1,…,0)^T、……、(0,…,±1)^T。