[发明专利]一种面向跨域信息系统的实时按需数据汇聚方法及系统

说明书

本发明提供了一种面向跨域信息系统的实时按需数据汇聚系统及方法，包括：部署在目的信息系统中的汇聚端和部署在多个源信息系统中的多个源端；所述汇聚端连接器与所述源端连接器建立虚拟局域网隧道相互通信，形成覆盖网络；所述汇聚器收集目的信息系统内各种应用对源数据的汇聚需求，形成汇聚规则；将源信息系统中满足汇聚规则的数据进行汇聚；所述过滤器根据汇聚器的汇聚规则，对源信息系统中的数据执行过滤操作，将符合应用需求的数据传输至目的信息系统中的汇聚器，汇聚器提供接口给上层应用获取数据；本发明提出一个能动态定制数据汇聚需求、数据传输延迟毫秒级且易于扩展和更新的实时跨域的数据汇聚框架。

技术领域

本发明涉及跨域分布式系统，具体地，涉及一种面向跨域信息系统的实时按需数据汇聚方法及系统，更为具体地，涉及基于发布/订阅模式的实时按需数据汇聚框架及系统。

背景技术

在当前的信息化社会中，各机构都有自己的信息化系统。随着当前数据分析技术的快速发展和应用逻辑的丰富，对跨机构、跨系统的各种类型数据的需求越来越强烈。然而各机构建设的业务系统都是为了满足自身的业务需求，建设时间早，并没有考虑后续的跨机构合作共享，缺少总体的设计。数据汇聚旨在解决当前各个独立系统的分布性，异构性和自治性等难点，克服大数据时代数据的Velocity、Volume和Variety挑战。整合多源的，多个分离独立的系统中的数据，以满足高层的数据分析、综合业务管理、公共信息服务和政府政策决策支持的需要。

传统的数据汇聚采用的是面向服务的架构(Service-Oriented Architecture，SOA)，例如Network on Terminal Architecture。该方法需要开发专有的软件或者接口(通常为HTTP，FTP)来进行源信息系统和目的信息系统之间的数据传输。这样的架构能规避分布式的独立系统的异构问题，但是有三个重要的缺陷：一、不同安全域的软件直接通信会增加网络管控和信息泄露的风险；二、不能有效应对分布、自治、异构的信息系统和大数据3V特性提出的实时性和灵活性方面的挑战；三、成本高，需要安排人员开发专有的server端和client端软件和接口。

专利文献CN104133831B(申请号：201410065334.7)公开了一种跨域数据联接系统、跨域数据联接系统及节点，所述系统采用分布式系统架构，运行于HDFS集群节点上，不同的HDFS集群之间采用网络通道连接，每个集群开放一个节点提供对外文件存取服务，在HDFS的每个节点上维护一个系统进程，HDFS的对外服务节点接受跨HDFS的数据联接请求，并将结果最终汇聚到接收请求的节点，最终获得联接结果。

本发明克服在多安全域信息系统环境下数据汇聚的难点，发明了一种跨域实时按需数据汇聚框架。在安全性的基础上，解决了数据汇聚数据量大、数据产生速率高和数据种类多的问题。

本发明公开了一种面向跨域信息系统的实时按需数据汇聚框架及系统。随着当前信息化的进一步普及，跨部门、跨组织的实时信息合作越来越重要，例如公安部门反电信诈骗。因为各组织、各部门信息系统之间的分布性、自治性和异构性，以及大数据的大规模、高速率和多种类特性，对数据汇聚方法提出了实时性、按需性和灵活性的需求。目前还没有提出能满足以上需求的数据汇聚框架及系统。本发明提出一个能动态定制数据汇聚需求、数据传输延迟毫秒级且易于扩展和更新的实时跨域的数据汇聚框架，并给出了该框架的设计细节以及具体实现机制。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种面向跨域信息系统的实时按需数据汇聚系统及方法。

根据本发明提供的一种面向跨域信息系统的实时按需数据汇聚系统，包括：部署在目的信息系统中的汇聚端和部署在多个源信息系统中的多个源端；

所述源端包括过滤器和连接器；

所述汇聚端包括连接器、汇聚器和配置器；

所述汇聚端连接器与所述源端连接器建立虚拟局域网隧道相互通信，形成覆盖网络；