[发明专利]一种用于强化学习的状态数据生成方法和系统

权利要求书

1.一种用于强化学习的状态数据生成方法，其特征在于，包括：

获取智能体在第一学习阶段的所有第一状态数据，以及，获取所有第一状态数据中距学习目标符合预设步数范围的第二状态数据；

利用所述所有第一状态数据训练变分自动编码机，得到已训练好的变分自动编码机的编码器并采样得到多个第一潜在变量；

将所述第二状态数据输入所述已训练好的变分自动编码机的编码器，得到多个第二潜在变量；

采用拒绝采样算法，从所述第一潜在变量和所述第二潜在变量中选出符合预设条件的第三潜在变量；

将所述第三潜在变量输入所述变分自动编码机的解码器，生成所述智能体在第二学习阶段的初始状态数据；其中

所述采用拒绝采样算法，从所述第一潜在变量和所述第二潜在变量中选出符合预设条件的第三潜在变量，包括：

从第一潜在变量和第二潜在变量中选取一个向量，将所述向量放入概率密度函数中计算，得到第一比较值；

从0至常数函数的区间内随机选择一个值作为第二比较值；

若所述第一比较值小于所述第二比较值，则将所述第一比较值对应的向量确定为第三潜在变量。

2.如权利要求1所述的一种用于强化学习的状态数据生成方法，其特征在于，所述利用所述所有第一状态数据训练变分自动编码机，得到已训练好的变分自动编码机的编码器并采样得到多个第一潜在变量，包括：

利用所述所有第一状态数据训练变分自动编码机，得到已训练好的变分自动编码机的编码器；

对所述编码器的隐空间进行采样，得到多个第一潜在变量。

3.如权利要求1所述的一种用于强化学习的状态数据生成方法，其特征在于，所述将所述第二状态数据输入所述已训练好的变分自动编码机的编码器，得到多个第二潜在变量，包括：

对第二状态数据进行采样；

将采样到的第二状态数据输入所述已训练好的变分自动编码机的编码器中，得到与各状态数据对应的潜在变量；

对所述潜在变量进行高斯采样，得到多个第二潜在变量。

4.如权利要求1所述的一种用于强化学习的状态数据生成方法，其特征在于，所述将所述向量放入概率密度函数中计算之前，还包括：

使用核密度估计对编码器的隐空间中的多维均值向量进行估计，得到概率密度函数。

5.如权利要求4所述的一种用于强化学习的状态数据生成方法，其特征在于，所述编码器的隐空间中的多维均值向量为使用第一状态数据训练变分自动编码机后得到的向量。

6.如权利要求1所述的一种用于强化学习的状态数据生成方法，其特征在于，所述从0至常数函数的区间内随机选择一个值作为第二比较值之前，还包括：

使用概率密度函数中的值构造常数函数。

7.如权利要求1所述的一种用于强化学习的状态数据生成方法，其特征在于，所述智能体在第二学习阶段，按照设定的概率，以生成的初始状态数据为起点开始运行。

8.如权利要求1所述的一种用于强化学习的状态数据生成方法，其特征在于，所述第一状态数据存储在第一缓冲区，所述第二状态数据存储在第二缓冲区。

9.一种用于强化学习的状态数据生成系统，其用于实现权利要求1所述的方法，其特征在于，包括：

事件存储模块，用于存储智能体在第一学习阶段的所有第一状态数据，以及，存储所有第一状态数据中距学习目标符合预设步数范围的第二状态数据；

训练与处理模块，用于使用所有第一状态数据训练变分自动编码机，得到已训练好的变分自动编码机的编码器并采样得到多个第一潜在变量；将所述第二状态数据输入所述已训练好的变分自动编码机的编码器，得到多个第二潜在变量；

采样与筛选模块，用于使用拒绝采样算法，从所述第一潜在变量和所述第二潜在变量中选出符合预设条件的第三潜在变量；

状态生成模块，用于将所述第三潜在变量输入所述变分自动编码机的解码器，生成所述智能体在第二学习阶段的初始状态数据；

集合存储模块，用于存储各潜在变量。