[发明专利]一种星务软件模块故障复现的方法及系统

权利要求书

1.一种星务软件模块故障复现的方法，其特征在于，包括：

确定星务软件模块整个执行过程的动作集合和状态集合，以及确定所述星务软件模块出现故障时的第一动作和第一状态；

确定所述星务软件模块的初始状态，基于预设的强化学习算法、所述初始状态对所述动作集合和所述状态集合中的动作和状态进行遍历训练确定出执行每个动作后的预期未来奖励值Q，直到达到预设训练次数为止；

从所述初始状态开始根据所述Q值模拟所述星务软件模块由所述初始状态迁移到所述第一状态。

2.如权利要求1所述的方法，其特征在于，确定星务软件模块整个执行过程的动作集合和状态集合，包括：

确定所述星务软件模块的输入数据和输出数据，其中，所述输入数据和所述输出数据包括参数、变量以及指令；

根据所述输入数据以及所述输出数据预设范围分别对所述输入数据和所述输出数据进行离散化处理得到离散化的输入数据集和离散化的输出数据集；

将所述离散化的输入数据集作为所述动作集合，将所述离散化的输出数据集作为所述状态集合。

3.如权利要求2所述的方法，其特征在于，所述输出数据包括使能开关、计数参数、硬件数据以及软件数据，其中，所述计数参数为连续参数，所述硬件数据以及软件数据包括连续数据和离散数据；

所述输入数据包括输入参数和输入指令，其中，所述输入参数和输入指令包离散型输入参数和输入指令和连续型输入参数和输入指令；

根据所述输入数据以及所述输出数据预设范围分别对所述输入数据和所述输出数据进行离散化处理得到离散化的输入数据集和离散化的输出数据集，包括：根据所述预设范围对所述计数参数、所述硬件数据以及软件数据中连续数据以及所述连续型输入参数和输入指令进行离散化处理得到所述离散化的输入数据集和所述离散化的输出数据集。

4.如权利要求3所述的方法，其特征在于，基于预设的强化学习算法、所述初始状态对所述动作集合和所述状态集合中的动作和状态进行遍历训练确定出执行每个动作后的预期未来奖励值Q，包括：

确定当前训练的次数，根据所述当前训练次数和预设的训练次数最大值计算得到概率值，并随机生成一随机数，其中，所述随机数的取值范围为(0,1)；

根据所述概率值以及所述随机数确定出所述初始状态对应的初始动作，执行所述初始动作得到执行结果，根据所述执行结果更新惩罚函数，根据所述惩罚函数计算出所述每个动作对应的Q值。

5.如权利要求4所述的方法，其特征在于，根据所述当前训练次数和预设的训练次数最大值确计算得到概率值，包括：

通过如下公式计算所述概率值：

e＝1-(epoche/epoche_max)

其中，e表示所述概率值；epoche表示当前训练次数；epoche_max表示预设的训练次数最大值。

6.如权利要求5所述的方法，其特征在于，根据所述概率值以及所述随机数确定出所述初始状态对应的初始动作，包括：

判断所述随机数是否大于所述概率值；

若大于，则基于预设的最优解选择出所述初始动作；

否则，确定所述动作集合中每个动作的选取概率，根据所述选取概率随机从所述动作集合中选取出所述初始动作。

7.如权利要求6所述的方法，其特征在于，从所述初始状态开始根据所述Q值模拟所述星务软件模块由所述初始状态迁移到所述第一状态，包括：

从所述初始状态开始，每次选取Q值最大的动作进行状态迁移模拟，以使得所述星务软件模块由所述初始状态迁移到所述第一状态，且具有最少迁移次数。