[发明专利]一种组织机构数据实时查询系统

说明书

本发明提供一种组织机构数据实时查询系统包括：至少一个组织机构的数据库、kettle、数据分发器、Flink、OpenApi、外部系统；每个组织机构的数据库按照组织机构自身业务需求创建视图，视图中的数据提供给外部系统查询；在接收到外部系统发来的查询请求时，kettle从查询请求对应的数据库视图抽取数据，并将抽取的数据按照预设字段进行字段转换；数据分发器将进行字段转换后的数据分发到Flink；Flink按照预设格式将分发来的数据进行格式转换，并将格式转换后的数据作为查询结果发送到OpenApi；OpenApi将查询结果输出到外部系统；实现组织机构数据的实时转换，外部系统能实时查询组织机构的数据。

技术领域

本发明涉及数据处理技术领域，具体地说，涉及一种组织机构数据实时查询系统。

背景技术

目前，组织机构的数据库创建有视图，并新加一个DB用户U，只设置对视图的查询权限，用于提供外部系统所需的数据，外部系统以用户U连接数据库，每隔10秒查询视图获得实时数据；这种方式并不是真正的实时，失败后需要当日检查数据后的补偿性操作，消耗性能也不小，目前还没有实现外部系统实时查询组织机构的数据的功能。

发明内容

本发明的目的在于提出一种组织机构数据实时查询系统，旨在解决现有技术中，外部系统不能实现实时查询组织机构的数据的问题。

为解决上述技术问题，本发明提供一种组织机构数据实时查询系统，包括：

至少一个组织机构的数据库、kettle、数据分发器、Flink、OpenApi、外部系统；

每个组织机构的数据库按照组织机构自身业务需求创建有视图，所述视图中的数据用于提供给所述外部系统进行查询；

在接收到所述外部系统发来的查询请求时，所述kettle从所述查询请求对应的所述组织机构的数据库视图抽取数据，并将抽取的数据按照预设字段进行字段转换；

所述数据分发器将进行字段转换后的数据分发到所述Flink；

所述Flink按照预设格式将分发来的数据进行格式转换，并将格式转换后的数据作为查询结果发送到所述OpenApi；

所述OpenApi将所述查询结果输出到所述外部系统。

可选地，所述OpenApi还用于对所述查询结果进行脱敏处理、和/或加密处理后输出到所述外部系统。

可选地，还包括区块链云平台，所述OpenApi将所述查询结果发送到所述区块链云平台进行存储。

可选地，所述OpenApi还用于对所述查询结果进行压缩处理，并发送到所述区块链云平台进行存储。

可选地，所述区块链云平台中存储有的查询结果，支持在接收到所述外部系统发来的查询请求时直接从所述区块链云平台输出到所述外部系统。

可选地，还包括数据仓库，所述Flink还用于将所述查询结果存入所述数据仓库，所述数据仓库用于供BI读取后所述BI对数据进行挖掘、统计、分析中至少一种。

可选地，所述kettle还用于进行日志监控、Job监控、输出文本中至少一种；在所述kettle用于进行输出文本时，还包括容错检查系统，所述输出文本用于为所述容错检查系统提供数据来源。

可选地，所述容错检查系统发现有错的数据时，推送到另外单独配置路由KEY的Kafka，由所述Flink接受处理，所述OpenApi单独提供对外的接口，包括缓存的更新同步；对于已经上链的情况，按照预设处理规则进行处理，并且所述外部系统实时调用所述OpenApi的接口来处理容错。

可选地，所述Flink还用于将格式转换后的数据进行清洗、聚合操作中至少一种，将进行清洗、聚合操作中至少一种后的数据作为查询结果发送到所述OpenApi进行输出。