[发明专利]一种基于多维分割的视频结构化方法

权利要求书

1.一种基于多维分割的视频结构化方法，其特征在于：

步骤一：视频解析：

视频解析的第一步是数据接收，需要对视频做一个解复用的处理，分解为图像轨道、音频轨道、字幕轨道；

步骤二：场景分割中的关键帧提取：

使用聚类技术，将一个镜头的所有帧进行聚类，然后根据类别中的帧数这类具体准则，在这些类别中选取关键类别，再在关键类别中选取聚类参数最小的帧作为关键帧；

步骤三：基于关键帧的场景分割：

采用光流法对场景进行分割，利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性，根据上一帧与当前帧之间的对应关系，计算得到相邻帧之间物体的运动信息，分割后的视频，可以被表示为x₁,…,x_i，其中x表示被分割的视频的时间段，i表示被分割视频的个数；

步骤四：视频的音频分割：

基于EMD的音频分割方法，具体过程如下：

(1)原音频数据序列X(t)，确定所有极大值点，并用三次样条插值函数拟合形成原数据的上包络线；

(2)找出所有的极小值点，并将所有的极小值点通过三次样条插值函数拟合形成数据的下包络线；

(3)上包络线和下包络线的均值记作ml，将原数据序列X(t)减去该均值包络ml，得到一个新的音频数据序列hl，如公式所示：

hl＝X(t)-ml；

(4)对EMD分解后的音频数据进行聚类分割；

(5)分割后的音频，可以被表示为y₁,…,y_j，其中y表示被分割的音频的时间段，j表示被分割音频的个数；

步骤五：视频的语义分割：

对于段落的语义分割，主要包含如下几个方面：

(1)定义语义块：语义块是指将一个句子分割为若干个相对独立的语义单元，是一种语法、语义、语用关联的预处理手段，各语义块之间非递归、非嵌套、不重叠；

(2)句义分割：自然语言处理需要分析三个方面：语法，语义和上下文，因此首先进行文本分词及词性标的统计处理工作，进行完词分类后，对其进行快速标注工作，随后对于词进行语义重组，最后在根据定义好的语义块，进行句义分割；

(3)分割后的段落，可以被表示为z₁,…,z_k，其中z表示被分割的音频的时间段，k表示被分割音频的个数；

步骤六：信息熵为目标函数的分割规则：

对于同一段视频，根据上面的场景、声音、段落，从三个维度上进行分割后，得到了不同时间段的视频，在三个维度分割的视频，并不能完全对齐，会产生交叉的情况，因此采用信息熵的形式，对采用场景、声音、段落不同指标进行分割，对H(t)进行一阶、二阶处理，看信息熵序列是否平滑进行视频效果的评价；

∑[p(t|x₁),…,p(t|x_i)]＝∑[p(t|y₁),…,p(t|y_j)]＝∑[p(t|z₁),…,p(t|z_k)]＝1；

其中，t表示每一秒的视频，p(t|)是指当前在各个维度分割视频段的出现概率；

根据此公式，信息熵公式如下：

H(t)＝-{p(t|x)log[p(t|x)]+p(t|y)log[p(t|y)]+p(t|z)log[p(t|z)]}；

其中，H(t)为在视频某时刻的信息熵的数值，而形成的信息熵序列。