[发明专利]基于判别光流张量和HMM的视频语义单元检测方法

摘要

本发明公开了一种基于判别光流张量和隐马尔可夫模型的视频语义单元检测方法，它涉及图像与视频处理技术领域，其目的在于采用该方法以充分挖掘视频的时空信息，较好地保持结构与类别信息，并获得较丰富的语义信息。该方法的实现过程是：首先根据训练数据，采用Hierarchical Lucas－Kanade方法计算视频序列的光流场，得到光流场序列；然后根据光流场序列构建光流张量，得到光流张量序列；接着进行张量判别分析，获得特征向量；同时对视频语义单元进行定义与建模，采用HMM建模方法，得到语义模型集HMMs；将待分析视频数据按本发明提出的特征分析方法进行视频运动特征提取，并利用得到的语义模型集HMMs，进行语义单元的分类与识别。本发明可用于视频的内容分析和语义提取。

主权项

1.一种基于判别光流张量和隐马尔可夫模型的视频语义单元检测方法，其具体实现步骤如下：(1)、首先根据训练数据，采用Hierachical Lucas-Kanade方法计算视频序列的光流场，一段视频序列中的所有光流场构成该段视频的光流场序列；(2)、将得到的光流场序列等分成M×N个子序列，采用长度为W的滑动窗口以采样频率K计算各个子序列的光流直方图，该直方图的方向数为D。将每个滑动窗口内的M×N组光流直方图构成三阶光流张量X∈RM×N×D，得到与每个视频序列对应的光流张量序列；(3)、利用统一张量判别分析技术，即GTDA，对光流张量进行判别分析，获得核张量：$Y=X\underset{l=1}{\overset{3}{\Pi }}{}_{\times l}U_l---\left(1\right)$ 其中Ui为光流张量的第l阶投影矩阵。然后通过线性判别分析方法得到所需的特征向量： y*＝UT(y-m) (2)其中y由Y向量化所得，UT为投影矩阵，m为平均向量；(4)、对视频语义单元进行定义与建模，采用HMM建模方法，得到语义模型集HMMs；(5)、将待分析视频数据按(1)～(3)步骤所列方法进行视频运动特征提取，并利用得到的语义模型集HMMs，进行语义单元的分类与识别。