[发明专利]基于最大间隔马尔可夫网模型的双人交互行为识别方法

摘要

基于最大间隔马尔可夫网模型的双人交互行为识别方法,包括:采用一种最大间隔方法实现的结构化模型对高层语义建模，通过人工设定少量的特征模板表示交互行为；包括单人语义识别和交互行为识别两个步骤；对双人数据库进行单人跟踪,分别得到交互中的两人,对单人提取能够表征局部外观和局部运动的动作上下文描述符作为底层特征,采用度量学习的方法得到单人原子行为语义；将单人原子行为语义及其所属的交互行为和特征模板结合,训练结构化的最大间隔马尔可夫网得到建模交互行为的模型,利用该模型推断双人的交互行为。该方法能够在跟踪阶段有效排除背景干扰，在交互建模时起到纠错作用，识别效果良好。

主权项

1.基于最大间隔马尔可夫网模型的双人交互行为识别方法，其特征是，该方法包括如下步骤：步骤1对双人数据库进行单人跟踪,分别得到交互中的两人,对单人提取能够表征局部外观和局部运动的动作上下文描述符作为底层特征,采用度量学习的方法得到单人原子行为语义；步骤2将单人原子行为语义及其所属的交互行为和特征模板结合,训练结构化的最大间隔马尔可夫网得到建模交互行为的模型,利用该模型推断双人的交互行为；所述步骤1具体包括：步骤11对双人行为数据库，采用将结构化的局部稀疏模型和可变的模板更新策略想结合的跟踪算法,分别跟踪得到交互的两人；步骤12对跟踪得到了单人,分别提取剪影、光流特征，将这两种特征融合，计算得到运动上下文描述符，然后将运动上下文描述符加在剪影和光流特征之后，作为底层特征，用于表示单人行为；步骤13将提取的单人行为特征分为训练和测试两部分，采用度量学习算法,大间隔最近邻模型学习得到一个全局转换矩阵，利用该矩阵在测试部分识别单人原子行为语义；所述步骤2具体包括：步骤21设定特征模板和测试文件，测试文件包括单人原子行为语义及其对应的交互行为，特征模板用于表示单人原子行为语义及其对应的交互行为之间的关系；步骤22将特征模板和测试文件输入到马尔可夫网中，通过最大间隔算法，训练得到能够识别交互行为的模型；步骤23利用训练得到的交互行为模型，对于单人识别得到的原子行为语义进行识别，得到他们所属的交互行为；所述剪影和光流的特征描述符的提取:光流分为水平和垂直两个通道，为了降低噪声的影响，对每一个通道用中值滤波平滑，剪影作为第三个通道，分别提取这三个通道的直方图：根据剪影计算得到每一帧的边界框的大小，对边界框进行归一化，把边界框分为2x2的子窗口，然后把每个子窗口分为18个扇形区域，每个区域20度，通过整合每一个扇形区域得到各个通道的直方图，每一个为72即2x2x18维的向量，联合这三个通道的直方图获得一个216维的帧描述符；所述动作上下文描述符的提取:获得帧描述符之后，在当前帧的前后共取15帧，然后将这15帧分为3块，每一块选取5帧分别代表过去、现在和将来；每一块的5帧描述符堆叠在一起组成一个1080即216x5维的向量，通过PCA降维将这个块描述符映射到前N个主成分，N分别取10,50,10这三个值，对应于过去、现在和将来的帧块，结果得到一个70维的上下文描述。