[发明专利]海量数据融合及实时监视系统

摘要

本发明涉及一种海量数据融合及实时监视系统，其基于日志网关的数据接收模块与基于日志网关的数据处理模块相连，基于日志网关的数据处理模块与基于日志网关的数据入库模块、海量数据分布式缓存模块相连，基于日志网关的数据入库模块与基于离线统计的数据融合模块之间设有数据库，基于离线统计的数据融合模块与海量数据分布式缓存模块相连，海量数据分布式缓存模块与海量数据实时展现模块相连；本发明与以往系统相比，解决海量气象资料的数据融合及监视的高时效难题，可广泛应用于海量数据的实时处理与实时展现。

主权项

一种海量数据融合及实时监视系统，其特征在于：包括基于日志网关的数据接收模块、基于日志网关的数据处理模块、基于日志网关的数据入库模块、基于离线统计的数据融合模块、海量数据分布式缓存模块和海量数据实时展现模块；基于日志网关的数据接收模块与基于日志网关的数据处理模块相连，基于日志网关的数据处理模块与基于日志网关的数据入库模块、海量数据分布式缓存模块相连，基于日志网关的数据入库模块与基于离线统计的数据融合模块之间设有数据库，基于离线统计的数据融合模块与海量数据分布式缓存模块相连，海量数据分布式缓存模块与海量数据实时展现模块相连；基于日志网关的数据接收模块用于获取的气象数据，并对该气象数据根据待处理类型进行消息封装，并通过查找配置文件获取该处理类型对应的日志网关消息队列名，并向该指定的消息队列发送信息；基于日志网关的数据处理模块从配置文件中获取要监听的消息队列名，实时监听该消息队列；当消息队列中有待处理的消息时，从该消息队列中获取优先级高的消息，对该消息进行处理；如果消息需要进行入库操作，则将处理后的消息传递给基于日志网关的数据入库模块；如果消息需要及时展现，则将处理后的消息传递给海量数据分布式缓存模块；基于日志网关的数据入库模块接收基于日志网关的数据处理模块传递过来的消息，并从数据库连接池中申请一个数据库连接，当申请成功后，对该消息进行入库操作；基于离线统计的数据融合模块通过基于时间/事件触发，对数据库中的数据进行复杂的操作，形成实时监视所需要的数据，并将该数据传递给海量数据分布式缓存模块；海量数据分布式缓存模块接收来自基于日志网关的数据处理模块或基于离线统计的数据融合模块传递过来的数据；海量数据实时展现模块从海量数据分布式缓存模块获取待监视的数据，并实时将获取的数据进行显示。