[发明专利]一种基于改进骨干网络的视频结构化系统、方法及介质

权利要求书

1.一种基于改进骨干网络的视频结构化系统，其特征在于，包括：视频获取模块、图像预处理模块、骨干网络模块和结构化信息构建模块，

所述视频获取模块用于获取视频流，对视频流进行解码，从视频流中获取视频帧图像；

所述图像预处理模块用于对获取的视频帧图像进行预处理得到预处理后的视频帧图像，并将预处理后的视频帧图像输入骨干网络模块；

所述骨干网络模块采用改进的DLA-34全卷积网络提取图像特征，骨干网络模块包括骨干网络模型构建单元，通过预测目标对象中心点来呈现目标，然后在中心点位置回归出目标的属性，包括尺寸、3D位置、方向以及姿态，骨干网络模块用于对预处理后的视频帧图像进行2D目标检测、姿态估计、实例分割和3D目标检测，输出目标属性信息；

所述结构化信息构建模块用于通过目标属性信息构建目标对象的结构化信息。

2.如权利要求1所述的基于改进骨干网络的视频结构化系统，其特征在于，所述骨干网络模块包括2D目标检测单元，所述2D目标检测单元用于从视频帧图像中提取目标对象的位置信息，并通过目标对象的位置信息进行建模，对目标对象进行画像。

3.如权利要求2所述的基于改进骨干网络的视频结构化系统，其特征在于，所述骨干网络模块包括姿态估计单元，所述姿态估计单元用于对人体的关节点进行检测以得到人体的姿态信息。

4.如权利要求3所述的基于改进骨干网络的视频结构化系统，其特征在于，所述骨干网络模块还包括实例分割单元，所述实例分割单元用于分割出物体的像素，获取目标对象的轮廓。

5.如权利要求4所述的基于改进骨干网络的视频结构化系统，其特征在于，所述骨干网络模块还包括3D目标检测单元，所述3D目标检测单元用于获取目标对象的三维结构化信息。

6.一种基于改进骨干网络的视频结构化方法，其特征在于，包括：

获取视频流，对视频流进行解码得到视频的视频帧图像；

对获取的视频帧图像进行预处理得到预处理后的视频帧图像；

采用改进的DLA-34全卷积网络提取图像特征，通过预测目标对象中心点来呈现目标，然后在中心点位置回归出目标的属性，包括尺寸、3D位置、方向以及姿态，对预处理后视频帧图像进行2D目标检测、姿态估计、实例分割和3D目标检测，输出目标属性信息；

通过目标属性信息构建目标对象的结构化信息。

7.如权利要求6所述的基于改进骨干网络的视频结构化方法，其特征在于，所述对预处理后视频帧图像进行2D目标检测和姿态估计的具体步骤包括：

从视频帧图像中提取目标对象的位置信息，并通过目标对象的位置信息进行建模，对目标对象进行画像；

对人体的关节点进行检测以得到人体的姿态信息。

8.如权利要求7所述的基于改进骨干网络的视频结构化方法，其特征在于，所述对预处理后视频帧图像进行实例分割的具体步骤包括：

对目标对象进行逐像素分割以获取对象的轮廓信息。

9.如权利要求8所述的基于改进骨干网络的视频结构化方法，其特征在于，所述对预处理后视频帧图像进行3D目标检测的具体方法包括：

获取目标对象的三维结构化信息。

10.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求6-9任一项所述的方法。