[发明专利]一种基于运动分析的全景视频码流分发方法和系统

权利要求书

1.一种基于运动分析的全景视频码流分发方法，其特征在于，所述方法包括：

S1，判断是否存在时长不小于两个时间窗的全景视频码流没有分发，根据判断结果以及预设的重分析参数，进行码流分发，包括：

S11：如果存在时长在两个时间窗及以上的全景视频码流没有分发，则进入S12；

S12：如果note＝1，则发送当前时间窗内拼接全景视频的各路码流，同时发送该时间窗内视觉角度上限视觉角度下限然后进入S2；否则，直接进入S2；

其中，t表示当前时间窗序号；note表示重分析参数，初始值为1，用于标志是否需要更新视觉角度后对全景视频码流进行运动分析；

S2，对码流中携带的视角范围在[视觉角度上限,视觉角度下限]内的全景视频码流进行运动趋势分析，包括：

S21：将当前时间窗当前视角范围内的全景视频码流划入待分析集合；

S22：对待分析集合内的码流进行运动趋势分析，具体为：

Step221：如果存在帧内预测帧，则将该帧内预测帧作为定位帧；否则找到当前时间窗内具有最多帧内预测块的帧作为定位帧；

Step222：首先将位于定位帧后第一个P帧核心中心区域且运动矢量非零的帧间预测块，划入运动块集合；接着对运动集合内块，依据其运动方向进一步归类；再接着根据归类后的分布特点，判定当前视频在当前时间窗是否存在一致运动趋势；

所述核心中心区域，依据图像分辨率，以图像中点为中心点删除上下左右一定比例的块行块列，剩余的中间块即为“核心中心区域”；

所述对运动集合内块，依据其运动方向进一步归类，包括上下左右四分类，具体为：

ψ_u＝{block||mv_x|*k＜|mv_y|且mv_y＜0}、ψ_d＝{block||mv_x|*k＜|mv_y|且mv_y＞0}、

ψ_l＝{block||mv_y|*k＜|mv_x|且mv_x＞0}、ψ_r＝{block||mv_y|*k＜|mv_x|且mv_x＜0}

ψ_u、ψ_d、ψ_l、ψ_r分别表示上分类、下分类、左分类、右分类集合；mv_x、mv_y分别表示块block运动矢量的x轴分量、y轴分量；k表示比列系数，k≥2；

所述“根据归类后的分布特点，判定当前视频在当前时间窗是否存在一致运动趋势”具体可细分为“简化确定法”、“多层确定法”，具体为：

“简化确定法”：首先找到分类集合中集合内块的数量最多、第二多的集合；接着判定如果第二多的集合内块数量远远小于最多的集合内块数量，则判定存在一致运动趋势，一致运动方向即为块数量最多集合对应的方向，

“多层确定法”：首先使用“简化确定法”，初步判定是否存在一致运动趋势，如果存在则记为第一方向，如果不存在则直接判定不存在一致运动趋势，完成整个Step222的执行；接着，在当前时间窗内找到第二个定位帧，用同样的方法，判定是否存在一致运动趋势，如果存在则记为第二方向，如果不存在则直接判定不存在一致运动趋势，完成整个Step222的执行；再接着判断第一方向和第二方向是否相同，如果相同则判定存在一致运动趋势，一致运动方向即为第一方向，如果不相同则直接判定不存在一致运动趋势，完成整个Step222的执行；

S3，根据运动趋势分析结果及预设的加速变量，采用相应的方法进行全景视频码流分发，包括：

S31：如果存在一致运动趋势且fast＝0，则优先分发一致运动方向的下一个时间窗内视频码流，将当前时间窗设置为下一个时间窗，同时发送上述时间窗内视觉角度上限下限设置note＝0，然后重回S1；否则如果存在一致运动趋势且fast＝1，则进入S32；否则如果不存在一致运动趋势，则按照普通模式分发下一个时间窗内拼接全景视频的各路码流，将当前时间窗设置为下一个时间窗，然后重回S1；

其中，fast表示加速变量，由使用者自行设定，若使用者倾向于算法的处理速度，则令加速变量为1；若注重运动分析的准确度，则令加速变量为0；

S32：优先分发一致运动方向的下一个时间窗内视频码流，将当前时间窗设置为下一个时间窗；

S33：判断下一个时间窗拼接全景视频的码流是否存在，若不存在，则结束；若存在，则进入S34；

S34：再接着判定当前时间窗内是否存在帧内预测帧，如果不存在，则继续优先分发一致运动方向的下一个时间窗内视频码流，将当前时间窗设置为下一个时间窗，然后重回S33；如果存在，则同时发送上述时间窗内视觉角度上限下限然后重回S2。

2.一种基于运动分析的全景视频码流分发系统，其特征在于，所述系统包括：

第一码流分发装置，用于判断是否存在时长不小于两个时间窗的全景视频码流没有分发，根据判断结果以及预设的重分析参数，进行码流分发，包括：

第一判断处理模块，用于判断如果存在时长在两个时间窗及以上的全景视频码流没有分发，则进入重分析参数判断处理模块；

重分析参数判断处理模块，用于判断如果note＝1，则进入第一码流发送处理模块；否则，直接进入码流运动趋势分析装置；

其中，t表示当前时间窗序号；note表示重分析参数，初始值为1，用于标志是否需要更新视觉角度后对全景视频码流进行运动分析；

第一码流发送处理模块，用于发送当前时间窗内拼接全景视频的各路码流，同时发送该时间窗内视觉角度上限视觉角度下限然后进入第二码流分发装置；

码流运动趋势分析装置，用于对码流中携带的视角范围在[视觉角度上限,视觉角度下限]内的全景视频码流进行运动趋势分析，包括：

视频码流待分析划分模块，用于将当前时间窗当前视角范围内的全景视频码流划入待分析集合；

运动趋势分析模块，用于对待分析集合内的码流进行运动趋势分析，包括：

帧内预测帧判断处理模块，用于判断如果存在帧内预测帧，则将该帧内预测帧作为定位帧；否则找到当前时间窗内具有最多帧内预测块的帧作为定位帧；

一致运动趋势判定处理模块，用于首先将位于定位帧后第一个P帧核心中心区域且运动矢量非零的帧间预测块，划入运动块集合；接着对运动集合内块，依据其运动方向进一步归类；再接着根据归类后的分布特点，判定当前视频在当前时间窗是否存在一致运动趋势；

所述核心中心区域，依据图像分辨率，以图像中点为中心点删除上下左右一定比例的块行块列，剩余的中间块即为“核心中心区域”；

所述对运动集合内块，依据其运动方向进一步归类，包括上下左右四分类，具体为：

ψ_u＝{block||mv_x|*k＜|mv_y|且mv_y＜0}、ψ_d＝{block||mv_x|*k＜|mv_y|且mv_y＞0}、

ψ_l＝{block||mv_y|*k＜|mv_x|且mv_x＞0}、ψ_r＝{block||mv_y|*k＜|mv_x|且mv_x＜0}；

ψ_u、ψ_d、ψ_l、ψ_r分别表示上分类、下分类、左分类、右分类集合；mv_x、mv_y分别表示块block运动矢量的x轴分量、y轴分量；k表示比列系数，k≥2；

所述“根据归类后的分布特点，判定当前视频在当前时间窗是否存在一致运动趋势”具体可细分为“简化确定法”、“多层确定法”，具体为：

“简化确定法”：首先找到分类集合中集合内块的数量最多、第二多的集合；接着判定如果第二多的集合内块数量远远小于最多的集合内块数量，则判定存在一致运动趋势，一致运动方向即为块数量最多集合对应的方向；

“多层确定法”：首先使用“简化确定法”，初步判定是否存在一致运动趋势，如果存在则记为第一方向，如果不存在则直接判定不存在一致运动趋势，完成整个一致运动趋势判定处理模块的执行；接着，在当前时间窗内找到第二个定位帧，用同样的方法，判定是否存在一致运动趋势，如果存在则记为第二方向，如果不存在则直接判定不存在一致运动趋势，完成整个一致运动趋势判定处理模块的执行；再接着判断第一方向和第二方向是否相同，如果相同则判定存在一致运动趋势，一致运动方向即为第一方向，如果不相同则直接判定不存在一致运动趋势，完成整个一致运动趋势判定处理模块的执行；

第二码流分发装置，用于根据运动趋势分析结果及预设的加速变量，采用相应的方法进行全景视频码流分发，包括：

第二码流发送处理模块，用于判断如果存在一致运动趋势且fast＝0，则优先分发一致运动方向的下一个时间窗内视频码流，将当前时间窗设置为下一个时间窗，同时发送上述时间窗内视觉角度上限下限设置note＝0，然后重回第一码流分发装置；否则如果存在一致运动趋势且fast＝1，则进入优先分发模块；否则如果不存在一致运动趋势，则按照普通模式分发下一个时间窗内拼接全景视频的各路码流，将当前时间窗设置为下一个时间窗，然后重回第一码流分发装置；

其中，fast表示加速变量，可由使用者自行设定，若使用者倾向于算法的处理速度，则令加速变量为1；若注重运动分析的准确度，则令加速变量为0；

优先分发模块，用于优先分发一致运动方向的下一个时间窗内视频码流，将当前时间窗设置为下一个时间窗；

码流存否判断处理模块，用于判断下一个时间窗拼接全景视频的码流是否存在，若不存在，则结束；若存在，则进入第三码流发送处理模块；

第三码流发送处理模块，用于再接着判定当前时间窗内是否存在帧内预测帧，如果不存在，则继续优先分发一致运动方向的下一个时间窗内视频码流，将当前时间窗设置为下一个时间窗，然后重回码流存否判断处理模块；如果存在，则同时发送上述时间窗内视觉角度上限下限然后重回码流运动趋势分析装置。