[发明专利]一种经验回放数据的处理方法及系统

权利要求书

1.一种经验回放数据的处理方法，其特征在于，所述方法包括：

按照预设的经验采样策略采集经验回放数据，所述经验回放数据是经验回放中转站模块基于连续内存存储机制存储至预设内存空间中；

基于所述经验回放数据进行机器学习模型的更新迭代，以获得更新后的模型权重数据；

将所述更新后的模型权重数据推送至预测推断引擎。

2.根据权利要求1所述的方法，其特征在于，所述按照预设的经验采样策略采集经验回放数据，包括：

按照预设的经验采样策略从所述预设内存空间读取所述经验回放数据；其中，所述预设的经验采样策略包括：随机采样策略、先进先出采样策略以及先进后出采样策略中的一种策略。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

通过预设的应用程序编程接口API设置所述经验采样策略或通过超文本传输协议HTTP设置所述经验采样策略，其中，所述经验采样策略是按照模型的训练算法特点和模型的训练场景进行选择的。

4.根据权利要求1所述的方法，其特征在于，所述经验回放数据是经验回放中转站模块基于连续内存存储机制存储至预设内存空间中，包括：

获取数据生成引擎生成的三元组环境交互数据；

将所述三元组环境交互数据拼接为经验片段数据；

按照预设样本尺寸切分所述经验片段数据，以获得经验回放数据；

所述经验回放中转站模块基于连续内存存储机制将所述经验回放数据存储至预设内存空间中。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

当所述经验回放中转站模块获得的所述经验回放数据的数据量达到预设采样阈值时，执行所述基于所述经验回放数据进行机器学习模型的更新迭代步骤。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述基于所述经验回放数据进行机器学习模型的更新迭代，包括：

将预设数量的所述经验回放数据构成经验回放组批次，所述经验回放组批次包括预先设置的最大数据重用值；

将所述经验回放组批次输入模型以进行机器学习模型的更新迭代；

当所述经验回放数据的数据量不足以构成经验回放组批次时，且上一个经验回放组批次的重用次数小于所述最大数据重用值时，重用所述上一个经验回放组批次进行所述机器学习模型的更新迭代操作。

7.一种经验回放数据的处理系统，其特征在于，所述系统包括：经验回放中转站模块、模型迭代模块和模型权重推送模块；其中，

所述经验回放中转站模块，用于按照预设的经验采样策略采集经验回放数据，所述经验回放数据是所述经验回放中转站模块基于连续内存存储机制存储至预设内存空间中；

所述模型迭代模块，用于基于所述经验回放数据进行机器学习模型的更新迭代，以获得更新后的模型权重数据；

所述模型权重推送模块，用于将所述更新后的模型权重数据推送至预测推断引擎。

8.根据权利要求7所述的系统，其特征在于，所述经验回放中转站模块，具体用于：按照预设的经验采样策略从所述预设内存空间读取所述经验回放数据；其中，所述预设的经验采样策略包括：随机采样策略、先进先出采样策略以及先进后出采样策略中的一种策略。

9.根据权利要求8所述的系统，其特征在于，所述系统还包括：

采样策略设置模块，用于通过预设的应用程序编程接口API设置所述经验采样策略或通过超文本传输协议HTTP设置所述经验采样策略，其中，所述经验采样策略是按照模型的训练算法特点和模型的训练场景进行选择的。

10.根据权利要求7-9中任一项所述的系统，其特征在于，所述模型迭代模块，具体用于：

将预设数量的所述经验回放数据构成经验回放组批次，所述经验回放组批次包括预先设置的最大数据重用值；

将所述经验回放组批次输入模型以进行机器学习模型的更新迭代；

当所述经验回放数据的数据量不足以构成经验回放组批次时，且上一个经验回放组批次的重用次数小于所述最大数据重用值时，重用所述上一个经验回放组批次进行所述机器学习模型的更新迭代操作。