[发明专利]基于多维异构数据源集成与整合模型的分析方法及系统

说明书

技术领域

本发明涉及数据源集成与整合领域，尤其是一种基于多维异构数据源集成与整合模型的分析方法及系统。

背景技术

在信息化时代和全球经济竞争的新环境下,企业领导要做出一项决策,往往需要查询多个基于各种异构数据源的业务系统和外部系统,要在进行大量数据分析后才能做出此决策。这种方法工作量大,且容易出现人为差错,因而在一定程度上影响了决策的质量。同时,随着企业的发展和信息化建设的推进,企业信息系统中的异构数据源已经不再能够满足用户的要求,并且还会出现很多的问题,己经成为制约企业信息化进程的障碍。这种信息系统中异构数据源主要存在以下几个方面的问题:(1)对于大量的数据不能提供一个统一的数据接口,不能采用一种通用的标准和规范(如目前的企业大都使用不同的指标代码体系和编码体系等),同时也不能共享通用的数据源。(2)随着业务的增加,对于管理人员来讲,操作越来越复杂,这就带来了用户分散、相互联系程度低、信息相对封闭以及共享程度低等一系列的问题。(3)大量的办公业务日趋复杂,但是依然或多或少地要靠手工处理进行流转。(4)信息加工和处理的手段差,从而严重地影响了信息的质量,导致用户无法直接从各级各类业务信息系统当中采集数据并加以综合利用。同时,系统也无法对外部信息进行及时、准确地采集和利用。业务系统产生的大量数据也无法提炼升华为信息,并及时提供给决策部门。(5)已有的业务信息系统平台及开发工具互不兼容,无法在大范围内应用。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于多维异构数据源集成与整合模型的分析方法及系统，实现对各种异构的数据源进行综合、集成，可以动态调用恰当的数据挖掘算法，提高分析的效率。

本发明的目的是通过以下技术方案来实现的： 基于多维异构数据源集成与整合模型的分析方法，包括以下步骤：

使用统一的知识表达：将数据的表达进行统一；

协议转换：对数据协议类型进行识别、转换和汇聚；

动态加载算法：从数据源提取规则数据。

优选的，所述的使用统一的知识表达，是将数据的基本存储形式,包括数据格式、知识模型和语义元数据的表达进行统一。

优选的，所述的使用统一的知识表达是基于XML数据表达。

优选的，所述的XML数据表达可以跨Internet和Intranet集成多个异构数据源。

优选的，所述的协议转换对自身系统采集的数据进行实时转换，并识别数据的协议类型，然后保存到数据库。

优选的，所述的协议转换对非自身系统收集到的数据，以实时或非实时的方式实现数据的转换和汇聚。

优选的，所述的动态加载算法根据规则的数据提取时间定期从数据源获取数据，将数据存入案件数据库中。

基于多维异构数据源集成与整合模型的分析系统，它包括：数据采集模块、表达方法统一模块、协议转换模块、算法加载模块和数据存储模块；数据采集模块与表达方法统一模块相连，表达方法统一模块与协议转换模块相连，协议转换模块与算法加载模块相连，算法加载模块与数据存储模块相连。

所述的数据采集模块对数据进行采集；

表达方法统一模块将数据的基本存储形式,包括数据格式、知识模型和语义元数据的表达进行统一；

协议转换模块对自身系统采集的数据进行实时转换，并识别数据的协议类型，对非自身系统收集到的数据，以实时或非实时的方式实现数据的转换和汇聚；

算法加载模块根据规则的数据提取时间定期从数据源获取。

优选的，所述的数据存储模块将协议转换模块识别数据的协议类型进行存储；将算法加载模块提取的规则数据进行存储。

本发明的有益效果是：本发明实现对各种异构的数据源进行综合、集成，可以动态调用恰当的数据挖掘算法，提高分析的效率。

附图说明

图1为基于多维异构数据源集成与整合模型的分析方法流程图；

图2为基于多维异构数据源集成与整合模型的分析系统框架图；

图3为基于多维异构数据源集成与整合模型的分析系统结构图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

如图1所示，基于多维异构数据源集成与整合模型的分析方法，包括以下步骤：

数据源采集：通过系统自身收集设备如信息收集器，对数据源进行采集或者由其他监控设备，如入侵检测、防火墙、内容审计等收集到的数据。