[发明专利]一种基于流媒体服务集群的分布式监控系统及方法

说明书

技术领域

本发明涉及分布式计算技术领域，具体涉及一种采用分布式内存缓存、分布式非关系型No-SQL数据库结合流媒体集群、TCP长连接通信技术实现移动终端实时监控平台的基于流媒体服务集群的分布式监控系统及方法。

背景技术

在基于TCP/IP进行网络通信实现对移动终端进行监控的系统应用中，移动终端与监控平台的数据传输要求较高的实时性，并存在大量的数据交换、数据查询、数据存储等计算工作，同时，当客户端的连接数越来越多时，监控的规模越来越大，涉及的业务越来越复杂时，极容易造成网络堵塞及系统性能急剧下降。

当前的监控管理平台的不足之处在于：

第一，TCP通信平台的响应速度及并发能力较低；

第二，TCP通信平台的水平扩展能力较低，平台的配置、管理工作量大，并且稳定性不高；

第三，没有为系统故障提供容错机制，故障点的影响范围大；

第四，不能充分利用网络分布式计算的资源，系统的负载不均匀，不能保证系统的平稳性。

因此，寻找支持高并发、高实时性、可动态扩展的稳定、高效的分布式监控技术方案已经成为物联网时代监控平台通信领域新的发展方向。

发明内容

本发明的目的是基于TCP/IP、Http网络协议以及分布式内存缓存系统Memcached、分布式No-SQL系统Mongodb、流媒体服务器RED5提供一种基于流媒体服务集群的分布式的监控系统及方法，实现了负载均衡及分布式计算，具有良好的可扩展性且不破坏系统原有的稳定性；提高通信平台的响应速度及并发能力；结合LinuxLVS或Nginx负载均衡机制与数据库分片计算技术，极大的提高监控系统平台的水平扩展能力，减少平台的配置、管理工作量。

本发明是通过以下技术方案来实现的：

本发明一方面提供一种基于流媒体服务集群的分布式监控系统，包括：

基于Hadoop的数据分布式处理架构，用于从数据源抽取数据并对其进行解析，并在Hadoop的上层映射-归约模型(Map/Reduce)中对解析的数据进行预处理和分布式计算；

分布式内存缓存模块，用于在开源Memcached分布式高速缓存系统的基础上，通过键/值对的HashMap数据结构在服务器内存中缓存常用及临时数据；

关系型数据管理模块，用于通过采用关系型数据库，实现监控系统平台对接入设备的信息查询、存储、管理、计算；

非关系型数据管理模块，用于使用开源非关系型No-SQL数据存储系统，并结合非关系型No-SQL数据存储系统的分片计算方法实现分布式部署；

流媒体服务集群模块，用于使用RED5开源流媒体服务器及边源服务集群方法实现流媒体信息传输的分布式集群处理；

负载均衡模块，用于对监控系统平台的负载进行均衡处理，并实现对WEB容器的水平扩展。

进一步地，所述基于Hadoop的数据分布式处理架构，用于将解析的数据中请求频率较高的低实时数据在Hadoop中进行预处理，待映射-归约模型(Map/Reduce)完成分布式计算后将计算结果存入关系数据库；并将解析的数据中要求高响应速度的数据或计算需求小的数据装载到关系数据库中实时响应用户请求。

进一步地，所述流媒体服务集群模块的唯一入口点为负载调度器；所述负载调度器采用负载均衡调度装置、基于内容请求分发装置或两者相结合的装置进行服务器调度；具体为：

当所述流媒体服务集群模块中使用的流媒体服务器池中的流媒体服务器拥有相同的内容提供相同的服务时，所述负载调度器的负载均衡调度装置用于在客户请求到达时，根据流媒体服务器负载情况和设定的调度算法从所述服务器池中选出一个服务器，将该客户请求转发到选出的服务器，并记录这个调度；当这个客户请求的后续报文到达，也转发到前面选出的所述服务器；

当所述流媒体服务集群模块中使用的流媒体服务器池中的流媒体服务器拥有不同的内容提供不同的服务时，所述负载调度器的基于内容请求分发装置用于在客户请求到达时，根据客户请求的内容选择服务器以执行所述客户请求；

所述负载均衡调度装置与基于内容请求分发装置两者相结合的装置，用于进行上述两种服务器调度。

更进一步地，所述服务器池的结点数目是可变的，当整个系统的请求负载超过目前所有结点的处理能力时，在服务器池中增加服务器来满足不断增长的请求负载；

所述Hadoop的下层分布式文件系统为各流媒体服务器提供共享的存储区，在所述分布式文件系统的内部或外部设置分布式锁管理器，用于使应用程序在不同节点上进行一致的并发访问；