[发明专利]基于stream的数据集成平台及其数据集成方法

说明书

本发明涉及数据集成技术领域，具体的说是一种基于stream的数据集成平台及其数据集成方法，其中基于stream的数据集成平台包括：协议网关的设计、限流设计、黑白名单设计、鉴权设计、组件库、API管理器和组件表单引擎；组件库包括数据库读组件、数据库写组件、http访问组件、feign组件、mq客户端组件、redis读组件、redis写组件、内容转义组件、字段转换组件、延时组件、EDI写组件、EDI读组件、IOT组件、ES2组件和SAP组件。本发明通过基于stream的数据集成平台，能够轻松面对不同场景下的数据集成需求，同时通过简单配置化的方式降低实施成本、缩短实施周期；通过分布式部署的方式，更能适应高可用、高并发的应用场景。

技术领域

本发明涉及数据集成技术领域，具体为一种基于stream的数据集成平台及其数据集成方法。

背景技术

在当下的物流供应链领域，企业都在进行这数字化转型，企业都业务正常运行都摆脱不了多套信息系统都支撑，各系统之间也必定不会是一个孤立的状态。信息系统供应商在为进行系统实施的过程中就必定会遇到如何进行系统集成的问题。

在软件系统集成的过程中主要需要考虑几个纬度的事情：第一、确定系统之间的传输协议。如http、webservice、rpc等；第一、根据业务场景确定集成接口的业务节点，即在什么实践节点集成什么样的数据，其数据流方向是怎样的。如销售订单下传、质检结果回告、出库单回传等；第一、确定集成的数据内容及格式，也就是常说的字段对接或报文对接。

目前行业内进行系统间的数据集成，主要采用以下几种方式：一、数据库对接方式，采用sql脚本、存储过程、DBLink等技术，直接从数据库表的纬度进行数据的集成；二、代码开发方式，使用系统间提供的API、sdk，采用编码的开发方式完成系统间的集成；三、集成应用，常见的如接口工具，通过配置的方式完成数据的集成。

上述三种方式的缺点如下：一、数据库对接方式，场景覆盖度低，扩展性低，成本中等，性能中等，适合小数据规模场景，当数据量大，频率高时，性能瓶颈表现突出；二、代码开发方式，场景覆盖度高，扩展性高，成本高，性能高；三、集成应用，场景覆盖度中等，扩展性中等，成本低，性能中等。

为此，我们推出一种基于stream的数据集成平台及其数据集成方法。

发明内容

本发明的目的在于提供一种基于stream的数据集成平台及其数据集成方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于stream的数据集成平台，包括：

协议网关的设计：将协议层与数据处理层进行分离，网关是数据的入口，支持多中协议；

限流设计：网关处可以对不同的API进行限流，限流算法采用基于redis分布式限流算法实现，支持集群限流；

黑白名单设计：在网关处进行黑白名过滤，提升系统安全；

鉴权设计：在网关处动态配置鉴权机制，支持加密、加签，支持RSA512、AES算法；

组件库：提供丰富的组件支持，包括数据库读组件、数据库写组件、http访问组件、feign组件、mq客户端组件、redis读组件、redis写组件、内容转义组件、字段转换组件、延时组件、EDI写组件、EDI读组件、IOT组件、ES2组件和SAP组件；

API管理器：对API进行管理设计调度，包括API配置管理器、API流程设计器和API执行调度器；

组件表单引擎：通过描述定义，自动生成组件的表单，减少开发工作量。

所述协议网关包括http、webservice、rpc、MQ、Socket和AS2。

所述API为每一个数据处理逻辑抽象，支持API自定义创建。