[发明专利]一种多并发多通道环境下的数据实时查询系统

说明书

本发明提供了一种多并发多通道环境下的数据实时查询系统，包括客户端模块、服务器模块、数据库模块、实时数据查询模块、Redis模块、定时管理模块、数据生产者模块和缓存清理模块；系统采用数据缓存机制支持数据的实时快速查询，支持多并发环境下，每个客户端连接的实时数据查询各自独立，并且每个客户端连接下，不同的数据通道的数据互相独立，多个客户端连接可以共享相同的数据通道，且实时数据查询彼此独立，互不影响；与此同时，保证每个客户端每个数据通道查询的数据连续递增，不重叠，不遗漏；系统还可以根据查询的频率动态设置数据缓存时间，以便有效利用内存资源。

技术领域

本发明涉及一种多并发多通道环境下的数据实时查询系统。

背景技术

目前流数据的应用十分广泛，流数据是一组顺序、大量、快速、连续到达的数据序列，一般情况下，数据流可被视为一个随时间延续而无限增长的动态数据集合。应用于网络监控、传感器网络、航空航天、气象测控和金融服务等领域。流数据是由数据源持续生成的数据，通常也同时以数据记录的形式发送。流数据包括多种数据，例如客户使用移动或Web应用程序生成的日志文件、网购数据、游戏内玩家活动、社交网站信息、金融交易大厅或地理空间服务，以及来自数据中心内所连接设备或仪器的遥测数据。此类数据需要按记录或根据滑动时间窗口按顺序进行递增式处理，可用于多种分析，包括关联、聚合、筛选和取样。

其中一种流数据的应用是对摄像机的监控视频进行分析，不同的摄像机产生不同的视频流数据，形成不同的数据通道，应用系统需要针对不同的通道分别进行分析，分析的数据通常需要实时展示，以便实现视频的监控和视频信息的智能分析实时同步，帮助监控人员快速理解视频中的对象、事件。

流数据的分析结果通常会先存放到消息队列中，然后再统一存储到数据库中，也可以直接存储到数据库中。存储到消息队列中，通常是因为避免流数据产生过快来不及处理，或者分析结果有二次处理的需求。有的系统是将原始数据或者中间结果存储到消息队列中，以此缓解处理速度滞后于数据产生速度的问题。当客户端需要实时展示流数据的分析结果时，通常的做法是使用一个服务程序从消息队列中不断取出新入列的数据或者从数据库中读取新插入的数据，然后发送给客户端展示，或者由客户端从消息队列读取或从数据库连续递增查询。其中从消息队列取数据时，一个客户端取完，其它客户端可能就无法再取到，从数据库查询时，性能比较低下，并且随着数据的增长，性能问题越来越严重，除此以外，客户端需要查询多个数据源的数据，即涉及到多通道数据的展示问题。

针对多并发多通道场景下查询获取实时数据，目前普遍采用的是C/S架构，由客户端向后台注册订阅数据，然后后台每当获取新的实时数据后，将数据逐个主推给各个订阅客户端，其系统架构图如图1所示，其中客户端模块用于在前端实时展示最新的数据，服务器模块用于处理客户端的服务请求，包括接收客户端的注册，并向消息处理模块订阅实时数据，以及从数据库模块中查询历史数据；消息处理模块用于侦听消息队列模块中的消息，当发现有新的数据消息时，立即取出来进行处理，包括将数据持久化存储到数据库模块中，以及根据服务器模块注册的实时数据订阅客户端列表，将数据主推给这些订阅者；消息队列模块用于缓存实时数据；数据生产者模块用于源源不断对原始数据进行采集和分析加工，并将分析的结果临时存储到消息队列中；数据库模块用于持久化存储数据。

以下描述现有技术的缺点：

(1)多个客户端同时查询实时数据时，并非完全并发，并且相互影响：

由于实时的数据是存放在消息队列中的，需要通过消息处理模块及时取走消息并处理，以免因断电造成数据丢失或者内存溢出，客户端需要实时展示这些实时数据时，需要向服务器模块注册，并最终形成向消息处理模块的数据订阅请求，消息处理模块在取走最新消息的时候，可以依据当前的订阅列表进行逐一推送数据。由于推送是按照时间有序进行的，因此对每个客户端来说，实时数据查询并不是完全并发的，并且当其中一个客户端发生网络链路故障后，将会导致其它客户端出现数据展示延迟，除此以外，后台需要管理客户端的订阅和主推逻辑，维护数据和客户端的映射关系，一旦出现逻辑错误，将影响全局；