[发明专利]基于图形图像来预测多个姿势

权利要求书

1.一种预测由图像描绘的对象的多个位置的方法，所述方法包括：

由预测神经网络接收描绘对象的图像，其中所述预测神经网络包括编码器神经网络、递归神经网络和解码器神经网络；

由所述编码器神经网络提取接收的所述图像的特征；

向所述递归神经网络提供提取的所述特征；

由所述递归神经网络确定对提取的所述特征的第一修改；

由所述递归神经网络基于所述第一修改来确定对提取的所述特征的第二修改；

由所述递归神经网络基于确定的所述第一修改来生成第一预测的特征并且基于确定的所述第二修改来生成第二预测的特征；

向所述解码器神经网络提供所述第一预测的特征和所述第二预测的特征；以及

由所述解码器神经网络生成第一组关键点和第二组关键点，其中所述第一组关键点中的每个关键点指示图像对象的相应部分的预测的位置并且所述第二组关键点中的每个关键点指示图像对象的所述相应部分的第二预测的位置。

2.根据权利要求1所述的方法，其中所述递归神经网络包括长短期记忆(LSTM)神经网络。

3.根据权利要求1所述的方法，其中所述递归神经网络基于以下各项的卷积来提供所述第一预测的特征：(i)提取的所述特征和(ii)描述所述第一修改的记忆信息。

4.根据权利要求1所述的方法，还包括：

由所述解码器神经网络标识所述第一组关键点中的每个关键点的类型；以及

基于所述第一组关键点中的每个关键点的标识的所述类型和指示标识的所述类型之间的联系的信息来生成姿势。

5.根据权利要求1所述的方法，还包括：

由被包括在所述编码器中的特定层从所述图像提取附加特征；

向附加递归神经网络提供提取的所述附加特征；

由所述附加递归神经网络确定对提取的所述附加特征的附加修改；

由所述附加递归神经网络基于所述附加修改来生成附加预测的特征；以及

由被包括在所述解码器神经网络中的关联的层基于所述附加预测的特征来生成附加的一组预测的关键点。

6.根据权利要求1所述的方法，还包括：

利用流解码器神经网络基于所述第一预测的特征来产生第一组运动矢量并且基于所述第二预测的特征来产生第二组运动矢量；

其中所述第一组运动矢量中的每个运动矢量和所述第二组运动矢量中的每个运动矢量对应于接收的所述图像中的相应像素。

7.根据权利要求6所述的方法，还包括：

基于来自所述第一组运动矢量的、对应于接收的所述图像中的所述相应像素的所述运动矢量来确定接收的所述图像中的每个像素的第一预测的位置；

基于接收的所述图像中的每个像素的所述第一预测的位置来生成第一图像；

基于来自所述第二组运动矢量的、对应于接收的所述图像中的所述相应像素的所述运动矢量来确定接收的所述图像中的每个像素的第二预测的位置；以及

基于接收的所述图像中的每个像素的所述第二预测的位置来生成第二图像。