[发明专利]数据集成系统和基于数据集成系统的数据处理方法

说明书

本发明公开了数据集成系统和基于数据集成系统的数据处理方法，涉及计算机技术领域。该系统包括：资源隔离模块、数据采集模块、数据集成模块和系统数据库，其中，资源隔离模块用于：设置系统和所系统包含的至少一个项目对应的权限，以实现资源隔离；数据采集模块用于：调用数据采集接口进行数据采集，将采集的数据落地到系统数据库；数据集成模块用于：访问系统数据库中的数据，按照数据处理规则对访问的数据进行处理。该实施方式能够将数据采集和数据集成过程一体化，用户不需要为每个应用开发后台服务，减少人力成本和代码维护成本。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据集成系统和基于数据集成系统的数据处理方法。

背景技术

在数据化时代，数据处理是系统应用的核心所在，大部分的系统应用都必须经过数据采集、数据加工、数据接口调用的过程。为了处理不同业务的差异性数据，应用必须为每个业务开发一个应用服务后台，并且开发多套基本一致的代码，执行相同性质的工作，导致人力成本和代码维护成本较高。

发明内容

有鉴于此，本发明实施例提供一种数据集成系统和基于数据集成系统的数据处理方法，能够将数据采集和数据集成过程一体化，用户不需要为每个应用开发后台服务，减少人力成本和代码维护成本。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据集成系统。

本发明实施例的一种数据集成系统，包括：资源隔离模块、数据采集模块、数据集成模块和系统数据库；其中，所述资源隔离模块用于：设置系统和所述系统包含的至少一个项目对应的权限，以实现资源隔离；所述数据采集模块用于：调用数据采集接口进行数据采集，将采集的数据落地到所述系统数据库；所述数据集成模块用于：访问所述系统数据库中的数据，按照数据处理规则对访问的数据进行处理。

可选地，所述资源隔离模块还用于：管理系统角色，其中，所述系统角色包括：超级管理员、所述至少一个项目的项目创建者和所述至少一个项目的项目用户。

可选地，所述资源隔离模块还用于：设置所述超级管理员具有管理系统菜单、配置流量阈值、配置超时时间阈值、以及查看所述至少一个项目的项目日志的权限；设置所述至少一个项目的项目创建者具有所述至少一个项目对应的权限，以及通过至少一个项目的项目创建者控制所述至少一个项目的项目用户对所述至少一个项目对应的项目菜单的权限。

可选地，所述资源隔离模块还用于：通过所述至少一个项目的唯一标识，对所述系统数据库进行资源隔离，以确定所述至少一个项目对应的授权数据库；其中，所述系统数据库包括：公共数据区和外部数据源。

可选地，所述数据采集模块还用于：接收数据采集指令，根据所述数据采集指令，确定落地数据库和采集表结构，其中，所述落地数据库为所述系统数据库中的数据库；调用所述数据采集接口进行数据采集，按照所述采集表结构，将采集的数据存储至所述落地数据库中。

可选地，所述数据采集模块还用于：解析所述数据采集指令，获取所述数据采集指令对应的目标项目；根据所述目标项目的唯一标识，从所述系统数据库中选择所述目标项目管理的至少一个授权数据库；判断所述至少一个授权数据库中是否具有所述采集表结构；若是，则确定具有所述采集表结构的数据库为所述落地数据库；若否，则从所述至少一个授权数据库中选择一个数据库为所述落地数据库，以及，创建所述采集表结构。

可选地，所述数据采集模块还用于：通过所述目标项目配置采集表基本信息，其中，所述采集表基本信息包括以下选项中至少一项：表名、表备注、字段名、字段备注以及字段类型；将所述采集表基本信息转化为Create语句，以创建所述采集表结构。

可选地，所述数据采集接口对应的传入字段包括：所述数据采集指令对应的唯一标识和所述采集的数据。