[发明专利]一种公安大数据分布式管控系统及方法

说明书

一种公安大数据分布式管控系统及方法，包括部署于上级单位和各个下级单位的分布式实时管控系统，上级分布式实时管控系统用于接收管控规则，并将管控规则下发给下级分布式实时管控系统；分布式实时管控系统将本级数据源中的海量数据实时写入到分布式消息队列Kafka中，并利用分布式流式计算引擎Flink基于管控规则比对计算，对符合管控规则的数据写入告警信息到Kafka中；下级分布式实时管控系统将本级Kafka订阅中的告警信息推送到上级分布式实时管控系统的Kafka中；上级分布式实时管控系统将Kafka订阅中的告警信息推送给用户，同时推送告警信息到分布式搜索引擎ElasticSearch中保存，并提供历史告警信息查询功能。

技术领域

本发明涉及分布式技术领域，具体涉及一种公安大数据分布式管控系统及方法。

背景技术

各种公安系统产生的大量实时数据由前端感知设备为起点，经过多环节流转汇聚到大数据平台，进而由下级单位再汇聚到上级单位，一方面，数据延迟逐步增加，海量数据实时管控比对的时效性有待进一步提高，另一方面，大量数据汇聚上级单位后占用大量物理资源和计算资源，无法利用下级已有资源，造成资源未能合理有效利用。

发明内容

鉴于现有技术中存在的技术缺陷和技术弊端，本发明实施例提供克服上述问题或者至少部分地解决上述问题的一种公安大数据分布式管控系统及方法，具体方案如下：

作为本发明的第一方面，提供一种公安大数据分布式管控系统，包括分布式搜索引擎ElasticSearch以及部署于上级和各个下级的分布式实时管控系统，上级的分布式实时管控系统用于接收管控规则，并将管控规则下发给各个下级的分布式实时管控系统；

所述分布式实时管控系统用将本级数据源中的海量数据实时写入到分布式消息队列Kafka中，完成海量数据的实时接入，并利用分布式流式计算引擎Flink，将Kafka订阅中的实时数据与所述管控规则进行比对计算，对符合管控规则的数据写入告警信息到Kafka中；

下级分布式实时管控系统还用于将本级Kafka订阅中的告警信息推送到上级分布式实时管控系统的Kafka中；上级分布式实时管控系统还用于将Kafka订阅中的告警信息推送给用户界面显示，同时推送告警信息到分布式搜索引擎ElasticSearch中；

所述分布式搜索引擎ElasticSearch用于保存上级分布式实时管控系统推送过来的告警信息，并提供历史告警信息查询功能。

进一步地，所述分布式实时管控系统包括管控管理模块、数据接入模块、管控比对模块和Mysql数据库；

上级分布式实时管控系统的管控管理模块用于接收管控规则，并将管控规则下发给各个下级分布式实时管控系统的管控管理模块；

所述管控管理模块用于将收到的管控规则写入到本级系统中的Mysql数据库；

所述数据接入模块用于将本级数据源中的海量数据实时写入到分布式消息队列Kafka中，完成海量数据的实时接入；

所述管控比对模块用于从Mysql数据库中加载管控规则，并利用分布式流式计算引擎Flink，将Kafka订阅中的实时数据与所述管控规则进行比对计算，对符合管控规则的数据写入告警信息到Kafka中。

进一步地，上级分布式实时管控系统部署于上级单位，各个下级的分布式实时管控系统分别部署于各个下级单位。

进一步地，所述系统还包括分布式管控平台，所述分布式管控平台管理系统用户的管控权限，根据系统用户的权限，利用上级分布式实时管控系统对已经授权的下级单位下发管控规则，并接收上下级分布式实时管控系统推送的告警信息，将告警信息推送给用户界面显示。

进一步地，所述分布式管控平台包括用户统一入口，通过所述用户统一入口接收用户的查询请求，基于所述查询请求从分布式搜索引擎ElasticSearch中查询历史告警信息，并反馈给用户。