[发明专利]基于先验知识的双人交互行为识别方法

摘要

本发明公开了一种基于先验知识的双人交互行为识别方法，主要解决现有技术对于双人交互行为不能准确识别的问题。其实现方案是：1.准备基础行为识别网络ST‑GCN网络结构文件及相关文件；2.由每类交互动作建立先验知识连接关系,依照先验知识的连接关系修改网络结构文件和训练参数文件；3.利用修改后的文件对双人交互行为识别网络进行训练，得到训练好的模型；4.利用训练好的模型可以对已有数据、Kinect提取的数据或者openpose采集的数据进行识别。本发明的提高了双人交互行为的识别准确率，且适应性强，实时性好，可用于视频监控，视频分析。

主权项

1.基于先验知识的双人交互行为识别方法，包括：1)构建知识引导的双人交互行为识别网络：1a)从github网站上下载行为识别网络ST‑GCN的结构文件、参数设置文件、数据集代码以及训练代码；从SBU网站上下载数据集骨骼序列；1b)在linux系统下搭建Anaconda3.5以上的环境，安装pytorch0.4以上的深度学习实验框架；1c)根据双人交互行为涉及两人关键部位的相对运动的特点，设定两人参与交互的部位，建立这些部位骨骼点的连接，这些连接组成集合E作为先验知识，然后依照先验知识E在行为识别网络ST‑GCN结构文件中添加新的连接方式，并结合GCN操作直接提取两人关键部位骨骼点间的特征并分类，得到基于先验知识的双人交互行为识别网络；2)处理数据开始训练：2a)将1a)中下载得到的SBU双人交互数据集骨骼序列放到Dataset/SBUskeleton文件夹下，修改并运行数据集代码，统一骨骼序列数据格式，得到训练集的npy格式文件、验证集的npy格式文件、训练标签的pkl格式文件和测试标签的pkl格式文件，并存放在Dataset/SBU文件夹下以备训练和测试使用；2b)修改1a)中下载的参数配置文件设置训练过程；2c)在pytorch深度学习框架下运行训练代码，用npy格式的训练集和pkl格式的训练标签对1c)中搭建好的网络多次训练，产生多个训练模型，同时利用npy格式的测试集和pkl格式的测试标签比较这多个模型对未知样本的识别性能，选择在测试集上识别准确率最高的模型作为最终训练好的模型：3)利用最终训练好的模型进行双人交互行为识别：3a)从SBU测试数据集中选取单个骨骼序列，或者利用Kinect深度相机采集双人交互的骨骼序列，或者利用openpose软件从其他来源的双人交互RBG视频中提取骨骼序列，再通过2a)中修改的数据集代码将骨骼序列处理为可输入到模型的npy文件；3b)将3a)中得到的双人交互骨骼序列的npy文件输入到训练好的模型，判断输入数据属于每类的概率，概率最高的即为所属类别。