[发明专利]一种跨数据库的大数据分析系统和分析方法

说明书

本发明涉及一种跨数据库的大数据分析系统和分析方法。分析系统包括服务理解模块、服务生成模块和服务数据库，服务理解模块用于通过深度学习法生成智能服务模型，聚合各个孤立数据库所提供的服务，并将可提供的服务录入服务数据库。服务生成模块用于响应新的服务请求，从服务数据库中选择相应的服务进行推送。服务数据库用于存储聚合后的新的服务。本发明的分析方法从自然语言理解角度，赋予相互孤立数据库中的数据以共同意义和相似度，将相似服务关联聚合在一起，为上层应用提供跨数据库的直接服务。解决数据的逻辑性隔离和对应用服务的反应问题，让各个孤立数据库彼此兼容，让数据库中的数据相互具有关联性，更加互动，更有价值。

技术领域

本发明涉及大数据分析领域，例如政务大数据分析、智慧城市大数据分析等，具体涉及一种跨数据库的大数据分析系统和分析方法。

背景技术

数据孤岛是指各个数据库中的数据无法(或者极其困难)连接互动，即数据间缺乏关联性，数据库彼此孤立、无法兼容。数据孤岛分为物理性和逻辑性两种。物理性的数据孤岛指的是，数据在不同部门相互独立存储，独立维护，彼此间相互独立，形成了物理上的数据隔离。逻辑性的数据孤岛指的是，不同部门站在自己的角度对数据进行理解和定义，使得一些相同的数据被赋予了不同的含义，无形中加大了跨部门数据合作的沟通成本，使原本可以相互关联、彼此连动的数据，变成了毫不相关、各自孤立的数据。

数据孤岛问题在企业内部普遍存在，企业发展到一定阶段，出现多个事业部，每个事业部都有各自数据，事业部之间的数据往往都各自存储，各自定义。尤其是集团化的企业就更加明显，大部分集团企业的部门划分以功能型为主，部门与部门之间相对独立，企业中每个部门都会产生相应的数据，但各部门对数据的理解角度不同，对数据的使用和定义有比较大的差异，导致数据无法互通，形成孤岛。另一方面，许多企业中的信息部门建设比较晚，信息系统建设的标准不统一，使日后的数据互通存在较大的阻碍。

消除数据孤岛是一项长期艰难的工作，最常见的方法是数据关联，使本来毫不相关的数据，随着关联数据的增多，数据维度增加，可挖掘的价值变大，从而使原来看不到太大价值的数据，产生巨大价值。但是，数据关联往往存在众多障碍，其中最大阻碍是，每个数据库、表结构都与应用程序关系密切、紧密耦合，当数据库中的数据脱离了原来的生存环境，发送到其它信息系统之后，由于接收数据的信息系统中与该数据之间没有相应的表结构，也没有相应的耦合关系，数据就成了无意义的、无价值的数据。

消除物理性的数据孤岛在技术上较为成熟，消除方法即将这些数据集中或分布式统一管理。如图1所示，基于标准的大数据Hadoop平台是选择之一，Hadoop是一个能够对海量数据进行分布式处理的软件框架，Hadoop以一种可靠、高效、可伸缩的方式进行数据处理，提供数据的分布式存贮、分布式计算、分布式数据库等，可统一存贮、管理隔离的数据，消除数据之间的物理隔离。但是，这种存储方式无法消除数据的逻辑性隔离，不同数据库中的数据的理解和定义仍然不同，数据库之间的关联、数据对应用的反应无法得到满足，数据无法成为有价值的、可直接提供服务的应用数据。

发明内容

针对以上不足，本发明提供了一种跨数据库的大数据分析系统和分析方法，用于解决数据的逻辑性隔离和对应用服务的反应问题。本发明从自然语言理解角度，赋予相互孤立数据库中的数据以共同意义和相似度，将相似服务关联融合、聚合在一起，为上层应用提供跨数据库的直接服务。

本发明的技术方案为：

一种跨数据库的大数据分析系统，包括服务理解模块、服务生成模块和服务数据库，所述服务理解模块用于通过深度学习法生成智能服务模型，聚合各个孤立数据库所提供的服务，将可提供的服务录入所述服务数据库，所述服务生成模块用于响应新的服务请求，从服务数据库中选择相应的服务进行推送，所述服务数据库用于存储聚合后的新的服务。

还包括人工干预模块，所述人工干预模块用于对服务生成模块所选择的服务进行人工修改，并将修改的内容提供给服务理解模块，对智能服务模型进行更新。