[发明专利]一种面向跨域信息系统的实时按需数据汇聚方法及系统

权利要求书

1.一种面向跨域信息系统的实时按需数据汇聚系统，其特征在于，包括：部署在目的信息系统中的汇聚端和部署在多个源信息系统中的多个源端；

所述源端包括过滤器和连接器；

所述汇聚端包括连接器、汇聚器和配置器；

所述汇聚端连接器与所述源端连接器建立虚拟局域网隧道相互通信，形成覆盖网络；

所述汇聚器收集目的信息系统内各种应用对源数据的汇聚需求，形成汇聚规则，并将汇聚规则分发给所有源端的过滤器；将源信息系统中满足汇聚规则的数据进行汇聚；

所述过滤器根据汇聚器的汇聚规则，对源信息系统中的数据执行过滤操作，将符合应用需求的数据传输至目的信息系统中的汇聚器，汇聚器提供接口给上层应用获取数据；

所述汇聚端的配置器提供可视化的监控界面，从而检测各个源信息系统内过滤器的工作状态、性能和汇聚系统覆盖网络的状态。

2.根据权利要求1所述的面向跨域信息系统的实时按需数据汇聚系统，其特征在于，所述覆盖网络能够屏蔽掉底层各信息系统局域网设置，在防火墙允许的情况下，实现跨安全域的位于不同局域网主机间相互通信。

3.根据权利要求1所述的面向跨域信息系统的实时按需数据汇聚系统，其特征在于，所述过滤器采用基于内容的订阅/分发模式中的匹配算法实现过滤器的过滤功能。

4.根据权利要求1所述的面向跨域信息系统的实时按需数据汇聚系统，其特征在于，所述配置器还包括：通过配置器配置部署新的过滤器或更新过滤器。

5.根据权利要求2所述的面向跨域信息系统的实时按需数据汇聚系统，其特征在于，所述覆盖网络包括基于开源N2N虚拟局域网技术实现汇聚系统的覆盖网络；

所述N2N虚拟局域网包括super-node程序和edge-node程序；

在目的信息系统和源信息系统中的接入点服务器上部署edge-node程序形成覆盖网络；在目的信息系统中部署super-node程序协调辅助edge-node程序覆盖网络。

6.根据权利要求1所述的面向跨域信息系统的实时按需数据汇聚系统，其特征在于，所述汇聚器通过Kafka集群实现实时按需数据汇聚；所述Kafka集群包括源Kafka集群和目的Kafka集群；

所述目的Kafka集群负责进行应用数据汇聚规则和满足过滤条件的数据收集与分发；

所述源Kafka集群包括汇聚系统本身已经运行的Kafka集群。

7.根据权利要求3所述的面向跨域信息系统的实时按需数据汇聚系统，其特征在于，所述过滤器包括基于源Kafka集群和目的Kafka集群的stream API分别实现对源数据和数据汇聚规则的实时获取；基于OpIndex算法和PhSIH并行化机制实现对源数据的过滤，在过滤后将匹配的源数据发往对应的应用。

8.根据权利要求7所述的面向跨域信息系统的实时按需数据汇聚系统，其特征在于，所述过滤器采用基于内容的订阅和/或分发模式中的匹配算法实现过滤器的过滤功能，过滤后的数据记录和所有的目的应用组合为一条消息发送至汇聚器，在汇聚器中新增一个解码程序组件，解码程序组件将过滤器发送过来的消息解构为数据记录和对当前数据记录有汇聚需求的应用列表，将当前数据记录发送至有汇聚需求的应用。

9.根据权利要求1所述的面向跨域信息系统的实时按需数据汇聚系统，其特征在于，所述配置器包括通过配置器查看汇聚系统信息，通过配置器输入新过滤器的配置参数，配置器根据输入的新过滤器的配置参数，生成新的过滤器容器并按指令在远程机器上部署新的过滤器容器；

在汇聚系统扩容新的源信息系统时，在安装好接入点主机的基础上，通过配置器自动化部署好过滤器，实现汇聚系统的扩展。

10.一种面向跨域信息系统的实时按需数据汇聚方法，其特征在于，运用权利要求1-9任一权利要求所述的面向跨域信息系统的实时按需数据汇聚系统执行如下步骤：

步骤M1：汇聚端连接器和源端连接器建立虚拟局域网隧道相互通信，形成覆盖网络；

步骤M2：汇聚端收集目的信息系统内各种应用对源数据的汇聚需求，形成汇聚规则，并分发给所有源端的过滤器；

步骤M3：源端过滤器根据从汇聚器接收到的数据汇聚规则，对源信息系统中的数据执行过滤操作，并将符合应用需求的数据传输至目的信息系统中的汇聚器；

步骤M4：汇聚器提供接口给上层应用以获取符合应用需求的数据。