[发明专利]基于stream的数据集成平台及其数据集成方法

权利要求书

1.一种基于stream的数据集成平台，其特征在于，包括：

协议网关的设计：将协议层与数据处理层进行分离，网关是数据的入口，支持多中协议；

限流设计：网关处可以对不同的API进行限流，限流算法采用基于redis分布式限流算法实现，支持集群限流；

黑白名单设计：在网关处进行黑白名过滤，提升系统安全；

鉴权设计：在网关处动态配置鉴权机制，支持加密、加签，支持RSA512、AES算法；

组件库：提供丰富的组件支持，包括数据库读组件、数据库写组件、http访问组件、feign组件、mq客户端组件、redis读组件、redis写组件、内容转义组件、字段转换组件、延时组件、EDI写组件、EDI读组件、IOT组件、ES2组件和SAP组件；

API管理器：对API进行管理设计调度，包括API配置管理器、API流程设计器和API执行调度器；

组件表单引擎：通过描述定义，自动生成组件的表单，减少开发工作量。

2.根据权利要求1所述的一种基于stream的数据集成平台，其特征在于：所述协议网关包括http、webservice、rpc、MQ、Socket和AS2。

3.根据权利要求1所述的一种基于stream的数据集成平台，其特征在于：所述API为每一个数据处理逻辑抽象，支持API自定义创建。

4.根据权利要求1所述的一种基于stream的数据集成平台，其特征在于：所述组件库内组件支持自定义，提供组件扩展SDK，每个API基于组件库内的组件来完成数据的处理。

5.根据权利要求1所述的一种基于stream的数据集成平台，其特征在于：所述API流程设计器将API设计为一个基于stream的flow，每个flow由不同的组件节点构成，通过API的流程设计器，进行API的拖拽化设计。

6.根据权利要求1所述的一种基于stream的数据集成平台，其特征在于：所述API执行调度器用于完成API的执行调度，支持分布式调度执行。

7.根据权利要求1所述的一种基于stream的数据集成平台，其特征在于：所述API执行调度器支持分布式部署。

8.一种权利要求1-7任意一项所述的基于stream的数据集成平台的数据集成方法，其特征在于：具体包括以下步骤：

S1、确定协议，配置网关：

确定数据系统的数据交换通讯协议，从而确定采用与其相匹配的网关；

S2、确定报文，配置API：

确定待集成系统双方或多方的数据格式，根据格式约定定义API，配置API各节点数据处理流程；

S3、根据数据安全策略，配置鉴权：

确定鉴权方式，在API中开始节点后新增一个鉴权节点，并根据鉴权策略配置相应的参数；

S4、根据数据安全策略，配置黑白访问名单：

确定访问策略，配置网关的黑白名单；

S5、根据集成系统的负载，配置限流策略：

确定各系统之间的负载情况，作为参考，以配置API的限流策略；

S6、根据数据并发处理的数据流量要求，确定部署模式：

根据集成场景的数据流量，确定是否采用分布式部署方式；

S7、部署运行。