[发明专利]一种数据对接、可视化方法和系统

说明书

本发明公开了一种数据对接、可视化方法和系统，方法包括：服务端获取若干业务端数据，对数据进行清洗与治理；将数据转换为标签字段，并根据获取到的数据的实际取值限定对应标签字段的字段范围取值；对新创建或已存在的数据字典选择标签字段，以形成数据标准；业务端选择数据字典，将本地数据与标签字段进行映射；通过可视化工具将本地数据以对应标签字段组的数据标准进行可视化展示。本发明与现有技术相比，解决现有技术采用通用数据进行展示，使得数据不匹配的问题；同时，本发明利用数字字典的形式，形成配套方案，可以解决现有技术需要业务端进行选择组合、使得数据处理麻烦的问题，降低了对业务端管理员的要求。

技术领域

本发明涉及一种数据对接、可视化方法和系统。

背景技术

大数据(big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。

然而现有的业务系统(业务端)具有各式各样的数据，尤其是对于不同公司的业务系统更具有不同的数据，若仅采用行业内通用数据进行可视化展示，会大程度产生数据不匹配的问题。

公开于本发明背景技术部分的信息仅仅旨在加深对本公开的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

发明内容

本发明的目的在于克服现有技术的不足，提供一种数据对接、可视化方法和系统。

本发明的目的是通过以下技术方案来实现的：

本发明的第一方面，提供一种数据对接、可视化方法，包括：

服务端获取若干业务端数据，对数据进行清洗与治理；

将数据转换为标签字段，并根据获取到的数据的实际取值限定对应标签字段的字段范围取值；

对新创建或已存在的数据字典选择标签字段，以形成数据标准；

业务端选择数据字典，将本地数据与标签字段进行映射；

通过可视化工具将本地数据以对应标签字段组的数据标准进行可视化展示。

进一步地，在所述获取若干业务端数据之前还包括接口连接步骤，具体包括：

服务端检测到业务端接入预定的接口时，建立与业务端的连接，并创建服务线程，以获取并解析来自业务端的请求；

所述服务端的服务线程在解析到来自业务端的请求为源数据调取请求时，建立业务端与源数据接口的连接，并创建第一监听线程；

所述第一监听线程对源数据调取过程进行监听，判断源数据接口是否能访问成功并成功返回请求数据，同时判断源数据接口接收到的返回的数据是否为有效数据；如果有任意一项不满足，则生成预警信息并发送；

在判断源数据接口能访问成功后，创建对应于所述源数据接口的第二监听线程；

所述第二监听线程轮训式监听业务端的数据库日志记录，验证当前数据是否有效存在；如果不满足，则生成预警信息并发送。

进一步地，所述业务端连接至服务端时，将业务端类型一并发送至服务端；对于不同类型的业务端数据分别保存至不同的中间库；