[发明专利]基于Spark的分布式海量视频解析系统

权利要求书

1.一种基于Spark的分布式海量视频解析系统，其特征在于，所述系统包括：分布式文件子系统、资源管理模块、分布式订阅子系统、数据处理模块、数据库模块和前台展示模块；

所述分布式文件子系统，配置为提供非结构化数据的交互接口；

所述资源管理模块，配置为上层应用提供统一的资源管理和调度服务；

所述分布式订阅子系统，作为系统的消息中间件，所述系统的各模块通过所述分布式订阅子系统进行消息和数据的传递；

所述数据处理模块，包括多个视觉处理算法子模块，各所述视觉处理算法子模块从所述分布式文件子系统获取视频数据，或从所述分布式订阅子系统中获取中间数据，多个所述视觉处理算法子模块协同工作将所获取到的视频数据解压缩为多帧图片，并基于所解压出的多帧图片进行视觉处理，并将处理结果保存在对应的数据存储介质中，其中，视觉处理包括行人检测、跟踪、行人属性识别、行人身份再识别；

所述数据库模块，配置为多种存储介质，用来存储各算法子模块处理的结果；

所述前台展示模块，从所述数据库模块和所述分布式文件子系统中读取相应数据，向用户展示各算法子模块的处理结果并与用户进行交互；

其中，所述数据处理模块包括检测跟踪子模块、属性识别子模块和身份再识别子模块；

所述检测跟踪子模块，配置为从所述视频数据中逐帧进行行人检测并跟踪目标人物的轨迹；

所述属性识别子模块，配置为读取对所述目标人物进行跟踪所得的轨迹数据，利用所述轨迹数据的特征向量对所述目标人物的属性进行识别；

所述身份再识别子模块，配置为根据所述目标人物的轨迹和属性来确定所述目标人物是否为之前出现的目标人物；

其中，所述检测跟踪子模块利用所封装的检测跟踪算法对所述视频数据的视频帧逐帧进行行人检测，得到行人的外接矩形窗口，关联各视频帧所得到的外接矩形窗口来确定行人轨迹；

其中，所述属性识别子模块利用所封装的属性识别算法根据对行人跟踪得的所述外接矩形窗口中的RGB数据，利用基于深度卷积神经网络的行人属性识别模型识别所述行人的属性，并将由多帧所述外接矩形窗口中的RGB数据所识别出的所述行人属性的平均值作为所述行人属性识别的结果；

其中，所述身份再识别子模块利用所封装的身份再识别算法，根据多帧行人的所述外接矩形窗口中的RGB数据，基于训练好的模型，用分类器前一层的输出作为每一帧轨迹图像的第一特征，并将由多帧所述外接矩形窗口中的RGB数据所得到的所述第一特征的平均值作为所述身份再识别的识别特征；结合所述识别特征和所述属性识别的结果，作为再识别过程中相似度计算的依据，从各所述外接矩形窗口的数据，查找出与各待查询图像所示人物相近的多个人，将所查找出的多个人与所述待查询图像与所示人物相近的相似度作为属于同一个人的概率，依此进行再辨识。

2.根据权利要求1所述的基于Spark的分布式海量视频解析系统，其特征在于，所述数据处理模块的各子模块都有多种算法可供选择，并配置为接收用户通过所述前台展示模块发送的算法执行顺序，从预设的多种算法中选取需要的算法进行执行。

3.根据权利要求1所述的基于Spark的分布式海量视频解析系统，其特征在于，所述属性识别子模块还包括属性识别训练单元，所述属性识别训练单元中预设的初始识别模型根据标注了行人属性的数据集，利用深度卷积神经网络训练所述初始识别模型，得到行人属性识别模型。

4.根据权利要求1所述的基于Spark的分布式海量视频解析系统，其特征在于，所述数据库模块配置为图形数据库Neo4j，用于存储上述检测跟踪子模块对目标人物的追踪轨迹、起始帧信息、行人属性信息以及行人再识别的结果。

5.根据权利要求4所述的基于Spark的分布式海量视频解析系统，其特征在于，所述分布式文件子系统还配置为通过数据交互接口将行人轨迹以及从所述视频数据截取的对应图片进行保存。