[发明专利]一种大规模分布式网络数据传输和协同的方法

说明书

本发明涉及一种大规模分布式网络数据传输和协同的方法，其中，包括：群组通信采用发送订阅模式，对于订阅同一个主题的订阅者作为一个组员都放到同一个群组内；群组管理员负责管理群组守护进程维护的所有群组；进行群组集群中的主群组守护进程的选择；每一个群组有任意多个组员，当一个组员要加入某一个群组的时候，新的组员给群组守护进程发送加入群组的消息，并通过状态迁移的过程来达到和其他组员一致的状态；当某一个组员希望退出群组的时候，该某一个组员发送离开群组的消息给群组守护进程；当一个组员崩溃后，组员连接的代理通过扫描崩溃组员连接的订阅列表中的主题，帮助崩溃的应用程序发送离开群组的消息给群组守护进程。

技术领域

本发明属于网络安全技术领域，特别是一种网络应用层安全防护系统。

背景技术

随着网络的发展和数据的骤增，传统的信息处理技术已难以实现有效支撑，新技术出现让信息技术体系发生了颠覆性的变革，从“集中式的传统信息技术体系”演变成为如今的“分布式的新型信息技术体系”，软件架构也得到了重塑，从“区域集中式网络架构”变成“广域分布式网络架构”。越来越多的企业认识到，要继续下一步发展，必须要解决网络联通和数据融合的关键技术瓶颈，必须要实现多中心、多层级、多区域之间网络的完全贯通，以及让数据真正融合产生智能，为业务智能化提供支撑，目前主流的技术都是采用通过消息中间件(RocketMq、RabbitMq、Kafaka等)、分布式协同软件(ZooKeeper)及其他软件来支持大规模分布式应用系统各组成部分之间底层网络数据传输和广域分布式协同。

窄带宽传输具有带宽窄、网络不稳定、每次发送字节有限等特点，弱连接网络传输具有丢包率高、链路状态不稳定和传输时延大等特点，分布式系统部署的边缘端常常存在窄带宽弱连接的网络情况出现，边端的数据通过主流消息中间件实现跨网跨域的数据传输时，数据通信的可靠性、稳定性和传输数据的高效性、一致性、完整性会出现问题。

发明内容

本发明的目的在于提供一种网络应用层安全防护系统，用于解决上述现有技术的问题。

本发明一种大规模分布式网络数据传输和协同的方法，其中，包括：群组通信采用发送订阅模式，对于订阅同一个主题的订阅者作为一个组员都放到同一个群组内；群组管理员负责管理群组守护进程维护的所有群组；进行群组集群中的主群组守护进程的选择；每一个群组有任意多个组员，当一个组员要加入某一个群组的时候，新的组员给群组守护进程发送加入群组的消息，并通过状态迁移的过程来达到和其他组员一致的状态；当某一个组员希望退出群组的时候，该某一个组员发送离开群组的消息给群组守护进程；当一个组员崩溃后，组员连接的代理通过扫描崩溃组员连接的订阅列表中的主题，帮助崩溃的应用程序发送离开群组的消息给群组守护进程；群组守护进程负责管理群组中的组员列表，一旦群组被创建，其中有一个组员称之为协调者，在这个群组中级别最高，协调者会定期向所有其他的成员发送心跳信息并同步主题信息，其他成员同时会响应该心跳消息并更新消息数据，维持整个群组消息的有序；如果协调者在一段时间内，没有接收到其他某个成员的回应消息，那么协调者认为对应的组员已经死亡，重新触发更新群组信息；每个组员会定期向主群组守护进程发送Ping消息，群组守护进程会响应该Ping消息，如果某个组员连续多次无法得到对应群组守护进程的回应消息，则认为自身已经离开组；配置群组守护进程被动检查成员的心跳信息，如果开启对应开关，则群组守护进程会定期检查组员心跳信息，如果在超时时间内还未收到对应的心跳，则认为对应的组员已死，触发重新更新群组和组员信息。

根据本发明所述的大规模分布式网络数据传输和协同的方法的一实施例，其特征在于，使用群组通信来把消息广播给同一个组里的所有成员，广播的消息选择先进先出顺序，当任意组员发生故障时，群组通信功能会保证消息会被发送给所有的组员或者完全不会发送给任意一个组员，使用群组通信来实现状态机的复制。

根据本发明所述的大规模分布式网络数据传输和协同的方法的一实施例，其特征在于，通过群组守护进程配置成集群模式，集群模式使用集群一致性算法来实现。