[发明专利]基于Spark的分布式海量视频解析系统

摘要

本发明涉及视频数据的处理领域，提出一种基于Spark的分布式海量视频解析系统，旨在解决海量视频数据追踪、识别行人的问题。该系统中：分布式文件子系统，配置为提供非结构化数据的交互接口；资源管理模块，为上层应用提供统一的资源管理和调度服务；分布式订阅子系统，作为系统的消息中间件，进行消息和数据的传递；数据处理模块，包括多个相互协作视觉处理算法子模块，将获取的视频数据解压缩为多帧图片，并对多帧图片进行行人检测、跟踪、行人属性识别、行人身份再识别等处理任务；前台展示模块，显示视频数据的处理结果并与用户进行交互。本发明实现了在海量的视频数据中高效准确的追踪行人踪迹，识别行人身份信息。

主权项

1.一种基于Spark的分布式海量视频解析系统，其特征在于，所述系统包括：分布式文件子系统、资源管理模块、分布式订阅子系统、数据处理模块、数据库模块和前台展示模块；所述分布式文件子系统，配置为提供非结构化数据的交互接口；所述资源管理模块，配置为上层应用提供统一的资源管理和调度服务；所述分布式订阅子系统，作为系统的消息中间件，所述系统的各模块通过所述分布式订阅子系统进行消息和数据的传递；所述数据处理模块，包括多个视觉处理算法子模块，各所述视觉处理算法子模块从所述分布式文件子系统获取视频数据，或从所述分布式订阅子系统中获取中间数据，多个所述视觉处理算法子模块协同工作将所获取到的视频数据解压缩为多帧图片，并基于所解压出的多帧图片进行视觉处理，并将处理结果保存在对应的数据存储介质中，其中，视觉处理包括行人检测、跟踪、行人属性识别、行人身份再识别；所述数据库模块，配置为多种存储介质，用来存储各算法子模块处理的结果；所述前台展示模块，从所述数据库模块和所述分布式文件子系统中读取相应数据，向用户展示各算法子模块的处理结果并与用户进行交互。