[发明专利]一种经验回放数据的处理方法及系统

说明书

本申请提供了一种经验回放数据的处理方法及系统，其中，所述方法包括：按照预设的经验采样策略采集经验回放数据，所述经验回放数据是经验回放中转站模块基于连续内存存储机制存储至预设内存空间中；基于所述经验回放数据进行机器学习模型的更新迭代，以获得更新后的模型权重数据；将所述更新后的模型权重数据推送至预测推断引擎。由此可见，本申请实施例基于连续内存存储机制建立经验回放数据的存储队列，使得预设的经验采样策略可以直接从预设内存空间中拉取经验回放数据，经验回放中转站模块的数据吞吐效率提高，进而提高持续学习引擎接收经验回放数据的速率以及模型更新迭代效率。

技术领域

本申请涉及机器学习技术领域，尤其涉及一种经验回放数据的处理方法及系统。

背景技术

大规模分布式持续学习引擎(以下简称：持续学习引擎)主要负责采样经验回放以及迭代模型，并实时将新的模型权重推送到对应的预测推断引擎。持续学习引擎分为三个模块，分别是经验回放中转站模块Replay Buffer，模型迭代模块和和模型权重推送模块。

现有技术中，Replay Buffer是持续学习引擎存放经验回放数据的中转站，ReplayBuffer没有独立的资源分配，需要和持续学习引擎的工作节点共享资源，而Replay Buffer中保存着大量的经验回放数据，因此，Replay Buffer的数据吞吐效率较差，且基于随机内存数据存取机制进行经验回放数据的存取，这些都使得持续学习引擎的接收经验回放数据速率慢、模型训练效率低下。

发明内容

有鉴于此，本申请提供了一种经验回放数据的处理方法及系统，用以提高持续学习引擎的经验回放数据接收速率，提高模型训练效率。

其技术方案如下：

第一方面，本申请实施例提供了一种经验回放数据的处理方法，所述方法包括：

按照预设的经验采样策略采集经验回放数据，所述经验回放数据是经验回放中转站模块基于连续内存存储机制存储至预设内存空间中；

基于所述经验回放数据进行机器学习模型的更新迭代，以获得更新后的模型权重数据；

将所述更新后的模型权重数据推送至预测推断引擎。

可选的，所述按照预设的经验采样策略采集经验回放数据，包括：

按照预设的经验采样策略从所述预设内存空间读取所述经验回放数据；其中，所述预设的经验采样策略包括：随机采样策略、先进先出采样策略以及先进后出采样策略中的一种策略。

可选的，所述方法还包括：

通过预设的应用程序编程接口API设置所述经验采样策略或通过超文本传输协议HTTP设置所述经验采样策略，其中，所述经验采样策略是按照模型的训练算法特点和模型的训练场景进行选择的。

可选的，所述经验回放数据是经验回放中转站模块基于连续内存存储机制存储至预设内存空间中，包括：

获取数据生成引擎生成的三元组环境交互数据；

将所述三元组环境交互数据拼接为经验片段数据；

按照预设样本尺寸切分所述经验片段数据，以获得经验回放数据；

所述经验回放中转站模块基于连续内存存储机制将所述经验回放数据存储至预设内存空间中。

可选的，所述方法还包括：

当所述经验回放中转站模块获得的所述经验回放数据的数据量达到预设采样阈值时，执行所述基于所述经验回放数据进行机器学习模型的更新迭代步骤。

可选的，所述基于所述经验回放数据进行机器学习模型的更新迭代，包括：