[发明专利]数据网关装置和大数据系统

说明书

技术领域

本发明属于数据处理技术领域，具体涉及一种数据网关 (Gateway)装置和一种包括该数据网关装置的大数据系统，其可保 障大数据的安全运营。

背景技术

在大数据时代，盘活数据资产、开放共享数据已成为大势所 趋。开放数据服务、实现大数据的运营和变现是当前大数据发展 的热点问题。然而，在大数据的运营或者变现过程中，如何保证 数据的合规性、避免敏感信息的泄漏、对交易数据进行计量或者 计费以及对数据进行审计等成为了当前亟需解决的问题。

发明内容

本发明的目的是提供一种数据网关装置和一种包括该数据网 关装置的大数据系统，其可以解决现有技术中存在的上述至少一 个问题。

为实现本发明的目的，根据本发明的一方面，提供了一种数 据网关装置，其包括：

用户管理模块，其用于管理用户信息；

服务管理模块，其用于管理向用户开放的数据服务的信息；

规则管理模块，其用于针对不同用户和不同的数据服务设置 不同合规检查规则；

取数管理模块，其用于接收用户发出的服务的取数请求，向 数据中心发出相应的取数请求，并接受数据中心返回的源数据； 以及

数据脱敏处理模块，其用于根据规则管理模块设置的规则， 对数据中心返回的源数据进行合规检查，从而生成服务数据，所 述服务数据为满足合规检查的数据，其中

所述取数管理模块还用于将数据脱敏处理模块生成的服务数 据提供给用户。

可选地，所述规则管理模块还可以用于针对不同用户和不同 的数据服务设置不同的数据过滤脱敏规则，并且所述数据脱敏处 理模块可以用于对数据中心返回的源数据进行过滤脱敏，然后再 对过滤脱敏的数据进行合规检查。

可选地，所述取数模块还可以用于对输出的服务数据进行计 量和计费。

可选地，所述规则管理模块还可以用于设置用户的服务数据 的输出行数，当满足合规检查的数据的总行数大于所述设置的服 务数据的输出行数时，所述数据脱敏处理模块还可以用于根据所 述规则管理模块设置的服务数据的输出行数，对满足合规检查的 数据，从首行开始，顺序截取一定行数的数据，来生成所述服务 数据，其中所述行数＝服务数据的输出行数。

可选地，所述取数管理模块还可以用于针对用户的取数请求 生成取数任务，并提供取数任务的查看功能。

可选地，所述用户管理模块还可以用于对不同类型的用户的 权限进行配置，所述权限包括功能菜单访问权限。

所述合规检查规则可以包括：数据字典匹配、数值范围检查 和字段长度检查。

所述数据过滤脱敏规则可以包括：服务输出字段筛选、字段 的条件过滤和字段内容处理。

可选地，所述数据网关装置还可以包括存储单元，其用于缓 存数据中心返回的源数据和数据脱敏处理模块生成的服务数据， 其中所述取数管理模块配置为：首先判断所述存储单元中是否存 在客户所请求的数据，如果所请求的数据已缓存在存储单元中， 则将缓存在存储单元中的所请求的数据作为服务数据提供给客 户，否则向数据中心发出相应的取数请求。

可选地，所述数据网关装置还可以包括安全审计模块，其用 于记录操作日志和取数日志，并将操作日志和取数日志存档。

可选地，所述数据网关装置还可以包括工单管理模块，其用 于处理系统工单任务，所述工单任务包括工单创建和工单查看。

可选地，所述数据网关装置还可以包括系统管理模块，其用 于配置系统的基础数据，所述基础数据包括数据周期和定时器， 所述数据周期为数据中心返回的源数据和所述数据脱敏处理模块 生成的服务数据在数据网关装置中的缓存周期。

根据本发明的另一方面，还提供了一种客户端可访问的大数 据系统，其包括数据中心和数据网关装置，所述数据网关装置通 过接口与所述数据中心连接，其中所述数据网关装置为上述任意 一种数据网关装置，并且所述数据网关装置配置为能够通过接口 与客户端连接。

所述数据网关装置与所述数据中心可以通过数据服务信息同 步更新接口、取数申请接口、服务数据生成通知接口和服务数据 同步接口来实现数据连接，其中，

通过所述服务信息同步更新接口，所述数据网关装置的服务 管理模块中的数据服务的信息与所述数据中心开放的数据服务保 持一致；