[发明专利]基于Q学习和SRNN模型的航天测控自适应调制方法

说明书

本发明提供一种基于Q学习和SRNN模型的航天测控自适应调制方法、系统和介质。所述方法包括：步骤S1、获取信道状态信息作为自适应调制模型的输入，信道状态信息为输入信噪比；步骤S2、利用神经网络训练所述自适应调制模型，所述神经网络的第一层为具有切片循环神经网络特征的LSTM层；以及步骤S3、为训练好的自适应调制模型设置状态空间、动作空间和奖励回报，以确定所述自适应调制模型的最佳调制方式。该方法能够避免学习算法前期陷入局部最优、后期收敛慢的情况；并使用切片循环神经网络代替普通的循环神经网络以提高模型训练速度。

技术领域

本发明涉及测控调制领域，尤其是涉及基于Q学习和SRNN模型的航天测控自适应调制方法、系统和介质。

背景技术

随着卫星通信技术的不断发展，对于传输速率和频谱利用率的要求也变得越

来越高，但是信道环境复杂、变化快、天气条件影响大等卫星信道的特点极大地限制了卫星通信系统的传输性能。在卫星通信系统中，信道环境是时变的，对于不同的信道环境，发射端信号调制编码模块设计的标准也不一样。假设以最优信道质量来设计系统，我们可以采用高阶调制方式和插入较少冗余的纠错编码的方案，提高带宽利用率，从而提高指定带宽的信息速率；如果此时信道质量变差，较高的信息速率会导致接收端产生严重的码间干扰，我们只有采用低阶调制方式和插入大量冗余的纠错编码方案，降低其传输速率以保证在接收端获得误码较少，使得总的吞吐量比较高。

此外，根据要传输的数据类型的不同，对通信质量的要求也不同，所以在发射端可以选用不同标准的编码调制方式，对传输的数据业务类型的划分主要以时延要求度高为标准，对于时延要求度高的业务比如卫星通话，则系统的传输性能主要以信息速率为准则，而不考虑误码率；而对于时延要求不高的业务如文本传输，则以系统误码率为准则进行系统容量的提升。在这种情况下，能够提高系统吞吐量且保证通信质量的自适应传输技术应运而生，该技术能够通过对CSI的实时反馈，动态改变发射端的传输参数，为吞吐速率和传输质量寻找合适的平衡点，提高频谱利用率。

自适应调制编码技术是众多自适应传输技术的一种，主要通过对调制方式和编码速率的自适应改变以适应当前时刻的信道环境。传统的AMC技术主要通过统一测定的信噪比切换阈值选择相应的调制编码组合，符合一个固定的数学模型。但是由于卫星信道下较长的反馈延时，以及信噪比估计也并非理想估计存在估计误差，所以传统的AMC方法往往不能够将自适应传输的性能发挥出来，甚至个别时候会造成通信中断，难以保证卫星通信服务质量。

DQN是一种深度强化学习方法，是Deep Q Network的缩写，因为是Q学习(强化学习的一种)的改进，在其基础上加入了深度学习的内容。而DRQN为Deep Recurrent Q Network的缩写，其中的R指代Recurrent Neural Network，即RNN(循环神经网络)方法，因为DRQN是在DQN的基础上引入记忆单元等RNN的特性，以提高网络性能。

现有技术采用基于强化学习的水声通信自适应调制方法。如图1所示，该方法步骤为：