[发明专利]公安大数据分析处理系统及方法

摘要

本发明涉及一种公安大数据分析处理系统及方法，包括接入解析模块、计算分析模块、支撑服务模块；接入解析模块用于适配各种不同的数据源，实时数据写入分布式实时消息队列Kafka中，离线批量数据由处理海量数据的大数据组件Hive保存到大数据平台HDFS中,实现各种数据在不同应用场景下的统一接入；计算分析模块实现数据分布式实时计算分析、实时布控比对、实时告警推送、海量数据统计分析、海量数据碰撞等功能；支撑服务模块实现全文检索服务、布控预警服务、研判分析服务、数据碰撞服务和GIS服务等，并为上层应用提供服务接口。其解决了公安系统中各个服务系统数据格式不统一，系统不兼容，形成了信息孤岛，无法产生数据的关联价值的技术问题。

主权项

1.一种公安大数据分析处理系统，其特征在于：包括接入解析模块、第一计算分析模块、第二计算分析模块、支撑服务模块；所述接入解析模块用于采集所需实时数据，并将采集的实时数据写入消息队列Kafka中；所述接入解析模块用于采集所需离线数据，并将采集的离线数据由处理海量数据的大数据组件Hive保存到大数据平台HDFS中；所述第一计算分析模块用于根据布控预警业务的需求分别读取消息队列Kafka中的实时数据以及第一数据存储模块中存储的布控规则数据，利用大数据流式处理组件将读取的实时数据与布控规则数据进行实时计算分析以及实时布控比对，并将比对结果实时写入消息队列Kafka中，并通过消息队列Kafka将比对结果实时推送到应用系统，为实时布控预警服务提供数据支撑，同时将比对结果保存到第一数据存储模块中，为后续预警查询服务提供数据支撑；所述第二计算分析模块用于利用大数据分析组件对大数据平台HDFS中的离线数据进行交叉碰撞和比对分析，产生关联数据，为包括公安情报分析、打击犯罪在内的各种应用业务提供数据支撑；所述第二计算分析模块还用于根据统计分析业务的需求，将大数据平台HDFS中的离线数据进行统计分析，生成各类统计报表，并将统计报表数据保存在第二数据存储模块内，为用户的各类决策提供数据依据；所述支撑服务模块用于实现全文检索服务、布控预警服务、研判分析服务、数据碰撞服务，并为上层应用提供服务接口。