[发明专利]实时数据处理与存储系统

摘要

本发明公开一种实时数据处理系统，基于构建在TCP或UDP传输协议之上的消息队列数据传输通道，通过Pub/Sub的消息队列主题模式，实现数据在传输过程中的数据过滤、处理和条件存储。本发明所涉及系统提供了一种灵活的、可动态部署的、可插拔的实时数据处理框架，便于针对不同的应用环境和需求，快速部署和实现相应的数据处理系统，使得易于将服务云化，变得可伸缩、可扩展，提高计算资源的使用效率和缩短服务开发与部署时间。

主权项

1.实时数据处理与存储系统，所述系统是基于Pub/Sub的消息传输模式，将数据采集端、应用端、处理端、存储端以及展示端通过松耦合的方式进行连接，彼此交互，形成面向服务的系统架构，其特征在于：所述的系统包括消息队列服务模块、应用程序模块、数据库系统模块、实时数据展示模块和数据过滤引擎模块，所述的消息队列服务模块为一个实时数据通道代理，其实现基于通信协议包括AMQP、MQTT、Websocket和TCP，所述的消息队列服务模块为实时数据传输提供管道；所述的应用程序模块通过系统A接口实现数据的输入或输出，应用程序模块运行的主体包括个人计算机、服务器、移动终端；所述的实时数据展示模块为一个基于Web的页面程序，其通过HTTP、Websocket或MQ协议从消息队列服务装置获取数据，并实时展示；所述的数据库系统模块包括关系型数据库系统和NoSQL数据库；所述的数据过滤引擎模块为一个脚本程序执行环境，所述数据过滤引擎模块的程序运行时的计算机语言环境包括Javascript、Java、Perl、Python、Scala和Erlang；所述系统还包括插拔式的数据处理插件模块，所述的插件模块直接作用于在传输通道中流动的数据，所述插件模块通过动态部署的方式提交到数据过滤引擎模块并运行；若系统在进行数据过滤或处理的时候需要依赖系统中已存在的数据进行逻辑判断，数据过滤插件直接通过数据读写接口读取数据库中的数据；所述的数据处理引擎模块根据需求订阅相应的消息主题；当客户端要发送关于某个语义主题的数据时，客户端应用程序会自动将其组装入系统消息主题的数据结构，而消息主题的数据结构中的其他部分可以从设备或客户端属性中读取，也可以由程序设计主动指定；然后，应用程序将数据通过系统接口发布到上述组装好的消息主题，由消息队列系统装置接收到，转发给数据过滤引擎，并由数据过滤引擎根据消息主题进行过滤；过滤引擎分别对消息主题的各个部分进行匹配；根据不同的匹配结果，数据过滤引擎执行相对应的数据处理程序；所述数据过滤引擎模块设有数据处理程序；所述的数据处理程序中待处理数据包含一组TAG值，所述的数据处理程序根据每个数据中包含的TAG进行条件匹配和二次过滤；对于处理程序处理后的数据可以被写入数据库，或转发/路由给其他处理程序或客户端应用程序，若需要转发，该数据将被发布到一个或多个对应的消息主题，并由订阅了相应主题的客户端应用程序或其他处理程序接收到；对于数据是否需要写入数据库，由数据处理程序决定。