[发明专利]基于Spark的分布式海量视频解析系统

说明书

本发明涉及视频数据的处理领域，提出一种基于Spark的分布式海量视频解析系统，旨在解决海量视频数据追踪、识别行人的问题。该系统中：分布式文件子系统，配置为提供非结构化数据的交互接口；资源管理模块，为上层应用提供统一的资源管理和调度服务；分布式订阅子系统，作为系统的消息中间件，进行消息和数据的传递；数据处理模块，包括多个相互协作视觉处理算法子模块，将获取的视频数据解压缩为多帧图片，并对多帧图片进行行人检测、跟踪、行人属性识别、行人身份再识别等处理任务；前台展示模块，显示视频数据的处理结果并与用户进行交互。本发明实现了在海量的视频数据中高效准确的追踪行人踪迹，识别行人身份信息。

技术领域

本发明涉及模式识别、计算机视觉领域，尤其涉及一种基于Spark的分布式海量视频解析系统。

背景技术

随着视频监控网络系统的大量部署，产生了大量的视频数据。视频数据是一种非结构化的数据，在海量视频数据的存储和内容处理等方面面临巨大挑战。

目前，基于Hadoop和Spark的大数据处理技术应用广泛，然而，这些大数据处理技术在处理压缩的视频文件时，因压缩的视频文件中各帧之间有依赖关系，在对视频处理时需要参考视频帧前后的数据进行解压，像普通文件一样直接切分将导致文件无法解压，限制了视频的并行处理。然而，在实际应用中，通常需要从海量的离线视频文件中寻找某个兴趣目标或兴趣事件，人工查找效率低且容易出错。

因此，搭建一个新型的视频解析系统，以满足对大规模海量视频数据的处理需求，同时可以灵活方便的嵌入多种检测识别算法，具备良好的通用性和可扩展性成为亟待解决的问题。

发明内容

为了解决现有技术中的上述问题，即为了满足海量视频数据的处理需求，提供一种通用性和可扩展性良好的系统，本申请提出一种基于Spark的分布式海量视频解析系统以解决上述问题：

本发明提供一种基于Spark的分布式海量视频解析系统。该系统包括：分布式文件子系统、资源管理模块、分布式订阅子系统、数据处理模块、数据库模块和前台展示模块。上述分布式文件子系统，配置为提供非结构化数据的交互接口；上述资源管理模块，配置为上层应用提供统一的资源管理和调度服务；上述分布式订阅子系统，作为系统的消息中间件，系统的各数据处理模块通过上述子系统进行消息和数据的传递；上述数据处理模块，包括多个视觉处理算法子模块，各上述视觉处理算法子模块从上述分布式文件子系统获取视频数据，或从上述分布式订阅子系统中获取中间数据，多个上述视觉处理算法子模块协同工作将所获取到的视频数据解压缩为多帧图片，并基于所解压出的多帧图片进行数据处理，并将处理结果保存在对应的数据存储介质中，其中，上述视觉处理包括行人检测、跟踪、行人属性识别、行人身份再识别；上述数据库模块，配置为多种存储介质，用来存储各算法子模块处理的结果；上述前台展示模块，从上述数据库模块和上述分布式文件子系统中读取相应数据，向用户展示各算法子模块的处理结果并与用户进行交互。

在一些示例中，上述数据处理模块包括检测跟踪子模块、属性识别子模块、身份再识别子模块；上述检测跟踪子模块，配置为从上述视频数据中逐帧进行行人检测并跟踪目标人物的轨迹；上述属性识别子模块，配置为读取对所述目标人物进行跟踪所得的轨迹数据，利用所述轨迹数据的特征向量对上述目标人物的属性进行识别；上述身份再识别子模块，配置为根据上述目标人物的轨迹和属性来确定上述目标人物是否为之前出现的目标人物。

在一些示例中，上述数据处理模块，每个子模块都有多种算法可供选择，并配置为接收用户通过上述前台展示模块发送的算法执行顺序，从预设的多种算法中选取需要的算法进行执行。

在一些示例中，上述检测跟踪子模块利用所封装的检测跟踪算法对上述视频数据的视频帧逐帧进行行人检测，得到行人的外接矩形窗口，关联各视频帧所得到的外接矩形窗口来确定行人轨迹。