[发明专利]基于大数据虚拟化技术用于数据集成处理与服务共享的数据中台系统

说明书

本发明涉及数据虚拟化技术领域，且公开了基于大数据虚拟化技术用于数据集成处理与服务共享的数据中台系统，包括基于大数据虚拟化技术搭建在混合云平台之上的数据中台，根据第三方数据的信息标签将第三方数据通过ETL流程加载到预设的所述数据中台，所述数据中台对第三方数据进行处理。该基于大数据虚拟化技术用于数据集成处理与服务共享的数据中台系统，对大数据进行统一的管理，使得数据能够得到很好的利用，提高数据中台的处理效率，对数据及时、准确、稳定地集成处理，克服了供需双方信息不对称性，同时快速有效的实现服务需求者与服务共享者间的快速有效对接，采用混合云平台提升平台的处理效率。

技术领域

本发明涉及数据虚拟化技术领域，具体为基于大数据虚拟化技术用于数据集成处理与服务共享的数据中台系统。

背景技术

从用户应用的角度出发，我们认为数据虚拟化系统架构应该包含3层：应用层、数据虚拟化层和源数据层，其中，数据虚拟化层包括数据虚拟化平面和管理平面，二者相互结合执行全方位的查询、处理、集成和管理功能。

现有的数据中台系统方便了场景化、服务化、引擎化、中台化、统一技术和智能化管理数据，但是现有的数据中台系统服务不够高效，系统结构冗杂，管理混乱，使得服务难以高效的推进，故而提出基于大数据虚拟化技术用于数据集成处理与服务共享的数据中台系统来解决上述所提出的问题。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了基于大数据虚拟化技术用于数据集成处理与服务共享的数据中台系统，具备服务更加高效的优点，解决了现有的数据中台系统服务不够高效，系统结构冗杂，管理混乱，使得服务难以高效的推进的问题。

(二)技术方案

为实现上述服务更加高效的目的，本发明提供如下技术方案：基于大数据虚拟化技术用于数据集成处理与服务共享的数据中台系统，包括基于大数据虚拟化技术搭建在混合云平台之上的数据中台，根据第三方数据的信息标签将第三方数据通过ETL流程加载到预设的所述数据中台，所述数据中台对第三方数据进行处理，所述数据中台提供服务共享业务，所述服务共享包括客户匹配、通知客户及客户评论等服务。

优选的，本系统采用混合云平台作为数据中台的载体，通过混合云平台中的私有云可以更加灵活高效地管理资源，而混合云平台中公有云的计算资源和存储资源又是私有云系统无法比拟的，通过将非机密功能迁移到公有云中，可以降低对内部私有云的压力和需求，将公有云和私有云进行混合匹配，以获取最佳的效果。

优选的，所述数据中铁的数据处理包括：驱动模块、数据加工模块、数据预警模块、数据解析模块、数据模型模块和服务接口模块，数据解析模块、数据预警模块及数据加工模块通过驱动模块进行驱动。

优选的，服务接口模块：用于传输数据报文，数据报文包括XML数据和自定义的文本数据；

数据模型模块：用于根据不同的集成方式，将接收的数据报文的数据属性与数据库数据模型的映射关系组成数据配置模型，所述集成方式包括WebService、中间库抽取和FTP文件共享中的一种或多种；

数据解析模块：用于接收服务接口模块传输的数据报文，并根据数据配置模型将数据报文解析成数据JAVA对象；

数据预警模块：用于根据预警配置，检索数据JAVA对象，对异常数据JAVA对象生成预警提醒；

数据加工模块：用于垃圾数据JAVA对象剔除和遗漏数据JAVA对象补录。