[发明专利]数据集成系统和基于数据集成系统的数据处理方法

权利要求书

1.一种数据集成系统，其特征在于，所述系统包括：资源隔离模块、数据采集模块、数据集成模块和系统数据库；其中，

所述资源隔离模块用于：设置系统和所述系统包含的至少一个项目对应的权限，以实现资源隔离；

所述数据采集模块用于：调用数据采集接口进行数据采集，将采集的数据落地到所述系统数据库；

所述数据集成模块用于：访问所述系统数据库中的数据，按照数据处理规则对访问的数据进行处理。

2.根据权利要求1所述的系统，其特征在于，所述资源隔离模块还用于：

管理系统角色，其中，所述系统角色包括：超级管理员、所述至少一个项目的项目创建者和所述至少一个项目的项目用户。

3.根据权利要求2所述的系统，其特征在于，所述资源隔离模块还用于：

设置所述超级管理员具有管理系统菜单、配置流量阈值、配置超时时间阈值、以及查看所述至少一个项目的项目日志的权限；

设置所述至少一个项目的项目创建者具有所述至少一个项目对应的权限，以及通过至少一个项目的项目创建者控制所述至少一个项目的项目用户对所述至少一个项目对应的项目菜单的权限。

4.根据权利要求1所述的系统，其特征在于，所述资源隔离模块还用于：

通过所述至少一个项目的唯一标识，对所述系统数据库进行资源隔离，以确定所述至少一个项目对应的授权数据库；其中，

所述系统数据库包括：公共数据区和外部数据源。

5.根据权利要求1所述的系统，其特征在于，所述数据采集模块还用于：

接收数据采集指令，根据所述数据采集指令，确定落地数据库和采集表结构，其中，所述落地数据库为所述系统数据库中的数据库；

调用所述数据采集接口进行数据采集，按照所述采集表结构，将采集的数据存储至所述落地数据库中。

6.根据权利要求5所述的系统，其特征在于，所述数据采集模块还用于：

解析所述数据采集指令，获取所述数据采集指令对应的目标项目；

根据所述目标项目的唯一标识，从所述系统数据库中选择所述目标项目管理的至少一个授权数据库；

判断所述至少一个授权数据库中是否具有所述采集表结构；

若是，则确定具有所述采集表结构的数据库为所述落地数据库；

若否，则从所述至少一个授权数据库中选择一个数据库为所述落地数据库，以及，创建所述采集表结构。

7.根据权利要求6所述的系统，其特征在于，所述数据采集模块还用于：

通过所述目标项目配置采集表基本信息，其中，所述采集表基本信息包括以下选项中至少一项：表名、表备注、字段名、字段备注以及字段类型；

将所述采集表基本信息转化为Create语句，以创建所述采集表结构。

8.根据权利要求5-7任一所述的系统，其特征在于，所述数据采集接口对应的传入字段包括：所述数据采集指令对应的唯一标识和所述采集的数据。

9.根据权利要求8所述的系统，其特征在于，所述数据采集模块还用于：

解析所述采集的数据，获得至少一个插入语句；

按照预设的防冲突方式，执行所述至少一个插入语句，以将所述采集的数据存储至所述落地数据库中；其中，

所述预设的防冲突方式包括以下选项中至少一项：标识字段识别方式、相同语句不操作方式以及更新方式。

10.根据权利要求1所述的系统，其特征在于，所述数据集成模块还用于：

接收所述数据处理请求，识别所述数据处理请求对应的项目和待执行数据处理规则；

调用所述待执行数据处理规则对应的数据处理接口，根据识别的项目的唯一标识访问所述系统数据库，获得待处理数据；

按照所述待执行数据处理规则对所述待处理数据进行处理，通过调用的数据处理接口返回处理结果。