[发明专利]一种基于强化学习的卫星信号周跳探测方法

权利要求书

1.一种基于强化学习的卫星信号周跳探测方法，其特征是按如下步骤进行：

步骤1：对卫星信号载波相位进行高阶差分处理；

步骤1.1：以所设定的采样周期T获得样本数为k+r+1的载波相位值序列，对所述载波相位值序列进行高阶差分处理，共获得k+1个r阶差分值，其中，载波相位的第i个r阶差分值为r为差分阶数；

利用式(1)计算第i个差分序列x_i：

式(1)中，c为使第i个差分序列x_i在[-1,1]范围内的缩放系数；

步骤2：利用式(2)所示的坐标延迟重构法构建第j个空间向量X_j并作为第j个训练样本：

式(2)中，x_i+1为第i+1个差分序列；k表示训练样本集X的样本数；

步骤3：利用式(3)构造预测方差

式(3)中，是第j个输出预测值，是k个输出预测值的均值；

步骤4：利用式(4)构造第j个周跳探测统计量D_j：

式(4)中，是第j个输出预测值；

步骤5：利用式(5)建立强化学习方法的第j个奖励函数R_j：

式(5)中，η表示奖励值，b表示奖励函数的判决量，S表示当前卫星信号的状态，S′表示当前状态的下一状态；→表示状态的变化；

步骤6：构建强化学习方法的网络模型：

步骤6.1：构建由多个卷积层组成的循环神经网络RNN，并用于对所述训练样本集X进行特征提取，得到多维特征向量；

步骤6.2：构建全连接层，用于将所述多维特征向量映射为一维特征向量；

步骤6.3：构建由两个n输出的全连接层组成的Q网络，用于对一维特征向量进行信息抽象映射，得到卫星信号的预测值；

步骤6.4：构建由一个m连接的全连接层组成的动作向量，用于对所述卫星信号的预测值进行处理，并输出一个含有m个元素的动作向量，包括：m₁个调整动作与m₂个终止动作；m＝m₁+m₂；

步骤7：对强化学习方法的网络模型进行训练：

步骤7.1：随机初始化Q网络的所有参数的集合w，基于集合w初始化所有的状态，将经验池初始化为空集；

步骤7.2：通过循环神经网络RNN和全连接层获取一维特征向量；

步骤7.3：将一维特征向量作为Q网络的输入，由Q网络输出所有动作对应的Q值，并用ε-贪婪法在当前输出的Q值中选择对应的第j个动作A_j，以1-ε为概率贪婪选择当前最大行为价值的动作，以ε为概率随机从m个动作向量中选择一个动作，其中，ε为探索率，并设初始值为q₁，且随着训练周期的增加，将ε逐渐降低至q₂；

步骤7.4：在当前卫星信号的状态S下执行第j个动作A_j，得到新状态S′对应的特征向量和第j个奖励R_j；

步骤7.5：将五元组{Y_j,A_j,R_j,Y′_j,is_end_j}存入经验池，其中，Y_j为第j个训练样本X_j在状态S下通过循环神经网络RNN和全连接层后得到的特征向量，R_j是在状态S下执行动作A_j后得到的奖赏，Y′_j为在新状态S′下通过循环神经网络RNN和全连接层后得到的特征向量，is_end_j为终止状态；

步骤7.6：从经验池中采样k个样本，并计算当前输出的第j个预测值

式(6)中，max_A′Q(Y′_j,A′,w)表示未来的奖励，γ表示折扣因子，A′_j是当前动作A_j的下一步动作；1≤j≤k；

步骤7.7：通过神经网络的梯度反向传播方法来更新Q网络的所有参数，并判断S′是终止状态is_end_j是否成立，若成立，则迭代结束，输出第j个预测值并作为卫星信号周跳探测的预测值，再求出新的周跳探测统计量D′_j，并依据三倍标准差原理，判断新的周跳探测统计量D′_j是否大于a，若是，则认为发生了信号周跳，否则，转到步骤7.3。