[发明专利]一种多视角视频识别方法及装置、设备和存储介质

权利要求书

1.一种多视角视频识别方法，其特征在于，所述方法包括：

获取待识别的多视角视频；其中，所述多视角视频至少包括两个视角对应的视频；

将所述多视角视频输入经过训练得到的神经网络模型，得到所述多视角视频的识别结果，其中，所述神经网络模型包括第一部分和第二部分，所述第一部分用于确定所述多视角视频在不同视角下的公共特征，并从公共特征中提取在对应视角下的特异性特征，所述第二部分用于对所述在不同视角下的特异性特征进行分类，得到所述多视角视频的识别结果；

输出所述多视角视频的识别结果。

2.根据权利要求1所述的方法，其特征在于，所述神经网络模型包括第一部分和第二部分，所述方法包括：

采用所述第一部分确定所述多视角视频在不同视角下的特异性特征；

采用所述第二部分对所述在不同视角下的特异性特征进行分类，得到样本视频的识别结果。

3.根据权利要求2所述的方法，其特征在于，所述神经网络模型还包括第三部分，所述方法包括：

采用所述第三部分对所述在不同视角下的特异性特征进行调整，得到调整后的特异性特征；

对应地，采用所述第二部分对所述调整后的特异性特征进行分类，得到所述样本视频的识别结果。

4.根据权利要求2或3所述的方法，其特征在于，所述第一部分包括共享神经网络和V个分支神经网络，V为大于等于2的整数，所述方法包括：

采用所述共享神经网络确定所述多视角视频在不同视角下公共特征；

采用所述V个分支神经网络中的每一分支神经网络从所述公共特征中提取在对应视角下的特异性特征；其中，每一所述分支神经网络一一对应一个视角。

5.根据权利要求4所述的方法，其特征在于，所述第二部分包括V组分类器，每一组分类器包括V个分类器，所述采用所述第二部分对所述在不同视角下的特异性特征进行分类，得到所述样本视频的识别结果，包括：

根据所述特异性特征和所述第二部分中一组分类器的V个分类器，确定动作类别向量；其中，所述动作类别向量的维度与动作类别的数量相同，所述动作类别向量中的每一数值用于表征特异性特征属于对应动作类别的概率；

根据所述公共特征和第一V×V个动作类别向量，确定所述多视角视频的识别结果，其中，所述第一V×V个动作类别向量为V个特异性特征对应的V×V个动作类别向量。

6.根据权利要求4所述的方法，其特征在于，第三部分包括条件随机场，所述采用所述第三部分对所述在不同视角下的特异性特征进行调整，得到调整后的特异性特征，包括：

根据所述第三部分中的条件随机场对所述V个特异性特征进行调整，得到V个调整后的特异性特征；

对应地，所述采用所述第二部分对所述调整后的特异性特征进行分类，得到所述样本视频的识别结果，包括：

根据所述V个调整后的特异性特征和所述第二部分中的分类器确定第二V×V个动作类别向量；其中，所述第二V×V个动作类别向量为V个调整后的特异性特征对应的V×M个动作类别向量；

根据所述公共特征和所述第二V×V个动作类别向量，确定所述多视角视频的识别结果。

7.根据权利要求6所述的方法，其特征在于，所述V个调整后的特异性特征中的调整后的第i个特异性特征，包括：第一项和第二项；其中，所述第一项包括调整之前的第i特异性特征；第二项用于表明所述调整后的第i特异性特征与调整后的第j特异性特征之间的关系，其中i的取值为1到V之间的任一整数，j为1到V之间的任一整数且不等于i。

8.根据权利要求6所述的方法，其特征在于，所述根据所述公共特征和所述第二V×V个动作类别向量，确定所述多视角视频的识别结果，包括：

根据所述公共特征在V个视角中每一视角下的概率和所述第二V×V个动作类别向量对应的权重值，确定所述多视角视频的识别结果。