[发明专利]一种基于元模拟学习的多任务智能机器人学习方法及装置

权利要求书

1.一种基于元模拟学习的多任务智能机器人学习方法，其特征在于，所述方法包括：

获取所有的初始示教数据集、所有的元训练任务集、所有的配对阈值、训练批次和初始元策略，其中，训练批次为B，配对阈值为α，初始元策略为π；

通过one-shot模拟学习对所述初始元策略进行预训练，获取最优训练参数的第一元策略；

建立一个第一试验数据集；

进行B次训练将第一试验数据集更新为第二试验数据集；

从第二试验数据集中依次的根据所有的两个不同的试验进行余弦距离运算，进而对比余弦距离与配对阈值α之间的关系，当余弦距离大于或等于配对阈值α时，对应的两个不同的试验以成对的形式加入到第二试验数据集中；

当第二试验数据集中所有的两个不同的试验全部运算完成后，第二试验数据更新为第三试验数据；

根据第三试验数据，通过one-shot模拟学习进行训练，利用神经网络将第一元策略参数化为第二元策略；

利用第二元策略，以各个示教数据集为输入，输出一个智能机器人的行为分布；

通过one-shot模拟学习对所述初始元策略进行预训练的过程包括：

获取所述初始示教数据集；

将所述初始示教数据集输入到所述初始元策略进行计算获取所述的行为分布；

根据考虑参数形式的所述初始元策略分析所有的所述初始元策略的参数对应的损失函数；

在损失函数数值最低时所述初始元策略的参数被设置为第一目标参数，并将第一目标参数所对应的所述初始元策略设置为第一元策略；

所述初始示教数据集表示为以下第一计算公式：

D＝{d₁,d₂,...d_N}

其中，d_N为第N个示教，D为所述初始示教数据集，N为示教序号；

各示教都包含一个观察轨迹、一个行动轨迹；

所述第N个示教表示为以下第二计算公式：

其中，d_n为第n个示教，为在d_n中的第T个观测值，为机器人的第T个最优动作；

考虑参数形式的所述初始元策略表示为以下第三计算公式：

π_θ＝(a_t|o_t)

其中，π_θ为优化机器人动作的策略，θ是神经网络的参数；

所述初始元策略的参数采用随机梯度下降法训练，所述初始元策略的参数对应的损失函数表示为以下第四计算公式：

其中，L_bc为损失函数，为对于观测值的动作的分布；

所述的余弦距离运算过程包括：

从第二试验数据集中依次的根据所有的两个不同的试验d_m和d_n；

将演示嵌入到固定长度向量；

通过距离函数第五计算公式计算两个试验之间距离；

所述第五计算公式为：

其中，H_θ(d_n,d_m)为d_n和d_m的距离度量函数；

所述第一元策略条件设置在d_n上时，d_m上的损失函数用以下第六计算公式得到：

通过对所有的元训练任务集的所有任务和可从同一任务中提取的所有的示教对求和，获得的one-shot模拟学习损失函数用以下第七计算公式得到：

其中，L_oil是对于参数θ和示教{D_i}的损失函数，M是培训任务的总数；

使用第一试验数据集将收集的试验组织成新的任务，在其中嵌入任何给定的试验，并计算试验之间有意义的距离；如果发现两个试验在潜在空间中彼此接近，则将两个试验添加到所述第一试验集中；

并对比损失函数是否满足第八计算公式；

所述第八计算公式为：

其中，L_c为对比损失函数，l(·)函数是指示函数，在l(·)函数输入为true时，返回1，否则返回0；β设为1，M是培训任务的总数；

通过one-shot模拟学习损失，并用以下第九计算公式获得：

L(θ,{D_i})＝L_oil(θ,{D_i})+L_c(θ,{D_i})

其中，L_oil和L_c分别由第七计算公式和第八计算公式定义，M是培训任务的总数。