[发明专利]一种基于视频分类的机器人行为识别方法

权利要求书

1.一种基于视频分类的机器人行为识别方法，其特征在于，具体包括如下步骤：

步骤1：定义机器人行为类型及行为识别输出结果；

步骤2：获取所有类型的机器人行为视频并形成原始数据集；

步骤3：建立深度学习的视频分类模型及算法；

步骤4：按照模型及算法的要求对机器人行为视频进行处理，生成训练数据集；

步骤5：利用训练数据集对视频分类模型及算法进行训练；

步骤6：得到训练好的模型；

步骤7：获取新的机器人行为视频数据；

步骤8：利用训练好的视频分类模型及算法对视频数据进行处理并输出结果；

步骤9：根据输出结果，按照定义的机器人行为类型，识别视频中的机器人行为；

所述步骤1具体为：

步骤1-1：将机器人行为定义为n种类型Ty1、Ty2、Ty3……Tyn；

步骤1-2：机器人行为识别方法的输出结果为n种类型Ty1、Ty2、Ty3……Tyn中的唯一；

所述步骤2具体为：

步骤2-1：利用摄像机、录像机视频采集设备获取机器人行为视频并形成数据集D；

步骤2-2：根据步骤1-1的定义，将数据集D划分为n个不相交的独立数据集D1、D2……Dn，使得每个独立数据集Dx与 每种类型Tyx一一对应，即：每个独立数据集Dx包含的视频均为每种类型Tyx的行为视频，其中1 ≤ x ≤ n，此为原始数据集；

所述步骤3具体为：

步骤3-1：以卷积神经网络为基础建立视频分类模型Model；

步骤3-2：定义视频分类模型Model的输入数据为视频数据Video或标签数据Label；

步骤3-3：定义视频分类模型Model的输出数据为步骤1-2所述；

步骤3-4：基于卷积神经网络理论以及深度学习技术构建视频分类模型Model的结构及算法；

所述步骤4具体为：

步骤4-1：基于独立数据集D1、D2……Dn，产生视频数据集V1、V2……Vn，其中每个视频数据集Vx从每个独立数据集Dx产生，1 ≤ x ≤ n；

步骤4-2：对于独立数据集Dx，1 ≤ x ≤ n，利用视频处理软件逐个读取每个独立数据集Dx中的每个视频；

步骤4-3：对于每个视频，按顺序逐个视频帧生成该视频对应的所有图像，然后选取Num张连续的图像并按顺序编号，Num为大于0的整数；如果不够Num张，则补充空的图像文件，使得总数为Num张；

步骤4-4：对于独立数据集Dx，1 ≤ x ≤ n，将步骤4-2、步骤4-3最终产生的所有图像集中后生成每个视频数据集Vx，1 ≤ x ≤ n；

步骤4-5：根据独立数据集Dx与类型Tyx的对应关系生成视频数据集Vx与类型Tyx的对应关系，使得每个视频数据集Vx与每种类型Tyx一一对应，其中1 ≤ x ≤ n；

步骤4-6：基于类型Tyx，1 ≤ x ≤ n，产生Label数据集L，L={Ty1,Ty2……Tyn}；

步骤4-7：将视频数据集Vx和Label数据集L组合成为视频分类模型Model的训练数据集；

所述步骤5具体为：

步骤5-1：利用服务器计算机构建视频分类模型Model的硬件运行环境；

步骤5-2：按照视频分类模型Model的要求配置软件运行环境；

步骤5-3：通过设置训练次数time或者设置模型精度acc，设置训练终止条件；

步骤5-4：将视频数据集Vx，1 ≤ x ≤ n，和Label数据集L作为输入，利用深度学习技术对视频分类模型Model进行训练；

步骤5-5：训练的基本规则包括：（1）每Num张图像输出一个分类结果TyTrain，分类结果TyTrain的值为Ty1,Ty2……Tyn中唯一；（2）通过比较分类结果TyTrain的值与该Num张图像对应的每种类型Tyx的值是否一致来调整模型参数，其中1 ≤ x ≤ n，具体方法是：首先依据步骤4-2、步骤4-3、步骤4-4确定该Num张图像所在的视频数据集Vx，然后依据步骤4-5确定该视频数据集Vx对应的类型Tyx，最后比较分类结果TyTrain的值与该类型Tyx的值是否一致来调整模型参数；

步骤5-6：依据步骤5-4、步骤5-5训练视频分类模型Model，直到满足步骤5-3设定的终止条件后终止；

所述步骤6具体为：

步骤6-1：依据步骤5-6得到训练好的模型M；

步骤6-2：模型M的输入数据只有一种，即：视频数据Video；

步骤6-3：模型M的输出数据等同于视频分类模型Model，由步骤3-3、步骤1-2、步骤5-5得出；

所述步骤7具体为：

利用摄像机、录像机视频采集设备获取新的机器人行为视频数据Dtest；

所述步骤8具体为：

步骤8-1：依据步骤5-1、步骤5-2构建模型M的软硬件运行环境；

步骤8-2：利用视频处理软件读取机器人行为视频数据Dtest，按时间顺序每Num帧图像生成一个测试数据集Vtest；

步骤8-3：将测试数据集Vtest作为模型M的输入，模型M输出结果TyTest，结果TyTest的值为Ty1,Ty2……Tyn中的唯一；

所述步骤9具体为：

按照步骤1定义，依据结果TyTest的值输出机器人行为类型。