[发明专利]一种基于视频分类的机器人行为识别方法

说明书

本发明公开了一种基于视频分类的机器人行为识别方法，该方法首先对机器人行为进行定义并获取相应的视频数据，然后定义深度学习的视频分类模型及算法并利用视频数据对模型进行训练，然后利用训练好的模型对机器人的行为视频进行分类，最后根据分类结果对机器人行为进行识别。本发明为机器人行为识别提供了一种基于视觉的可行方法，具有可识别长时间的、复杂的机器人行为，准确度可持续提高，可扩展性好、实用性强的优点。

技术领域

本发明涉及人工智能应用技术领域，具体涉及一种基于视频分类的机器人行为识别方法。

背景技术

近年来，随着深度学习等人工智能技术的蓬勃发展，计算机视觉在机器人领域的应用越来越广泛。行为识别是机器人应用领域的一个重要方向，例如在军事上，可应用于人机对抗训练环境构建、无人作战装备研制等。目前，机器人行为识别方法主要分为两大类：一是传统方法，主要依靠机械控制、信号传输与控制等技术，主要缺点是灵活性差、场景及动作单一、实用性不好等；二是基于计算机视觉的方法，主要有两个分支，一是通过视觉检测机器人骨骼关节然后应用图像分类的方法判读行为，主要缺点是图像质量要求高、动作识别限制多、准确度不高、实用性差；二是通过视频分析的方法，例如利用光流方法分析视频中的时间空间特征进而判读行为，近年来利用深度学习技术识别人的行为的研究方兴未艾，目前而言，利用深度学习网络识别简单的、持续时间短的动作已经取得初步进展，但识别机器人长时间的、复杂的行为目前进展缓慢。综上所述，研究基于深度学习视频分析技术的行为识别方法大势所趋，且具有重要的实际应用价值。

发明内容

本发明的目的在于解决现有行为识别方法准确度低、灵活性差，且不能识别长时间的、复杂的机器人行为方面存在的不足，旨在提供一种基于计算机视觉的、可扩展性好、实用性强、准确度可持续提高的机器人行为识别方法。

一种基于视频分析的机器人行为识别方法，包括：机器人行为视频分类模型及算法的定义、训练及应用的过程，具体包括如下步骤：

步骤1：定义机器人行为类型及行为识别输出结果；

步骤2：获取所有类型的机器人行为视频并形成原始数据集；

步骤3：建立深度学习的视频分类模型及算法；

步骤4：按照模型及算法的要求对机器人行为视频进行处理，生成训练数据集；

步骤5：利用训练数据集对视频分类模型及算法进行训练；

步骤6：得到训练好的模型；

步骤7：获取新的机器人行为视频数据；

步骤8：利用训练好的视频分类模型及算法对视频数据进行处理并输出结果；

步骤9：根据输出结果，按照定义的机器人行为类型，识别视频中的机器人行为。

所述步骤1具体为：步骤1-1：将机器人行为定义为n种类型Ty1、Ty2、Ty3……Tyn；步骤1-2：机器人行为识别方法的输出结果为n种类型Ty1、Ty2、Ty3……Tyn中的唯一。

所述步骤2具体为：步骤2-1：利用摄像机、录像机视频采集设备获取机器人行为视频并形成数据集D；步骤2-2：根据步骤1-1的定义，将数据集D划分为n个不相交的独立数据集D1、D2……Dn，使得每个独立数据集Dx与 每种类型Tyx一一对应，即：每个独立数据集Dx包含的视频均为每种类型Tyx的行为视频，其中1 ≤ x ≤ n，此为原始数据集。

所述步骤3具体为：步骤3-1：以卷积神经网络为基础建立视频分类模型Model；步骤3-2：定义视频分类模型Model的输入数据为视频数据Video或标签数据Label；步骤3-3：定义视频分类模型Model的输出数据为步骤1-2所述；步骤3-4：基于卷积神经网络理论以及深度学习技术构建视频分类模型Model的结构及算法。