[发明专利]一种基于适配器的大数据转换方法及系统

说明书

技术领域

本发明涉及数据处理领域，尤其涉及一种基于适配器的大数据转换方法及系统。

背景技术

近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。动辄达到数百TB甚至数十至数百PB规模的行业/企业大数据已远远超出了现有传统的计算技术和信息系统的处理能力，因此，寻求有效的大数据处理技术、方法和手段已经成为现实世界的迫切需求。百度目前的总数据量已超过1000PB，每天需要处理的网页数据达到10PB～100PB；淘宝累计的交易数据量高达100PB；Twitter每天发布超过2亿条消息，新浪微博每天发帖量达到8000万条；中国移动一个省的电话通联记录数据每月可达0.5PB～1PB；一个省会城市公安局道路车辆监控数据三年可达200亿条、总量120TB。据世界权威IT信息咨询分析公司IDC研究报告预测：全世界数据量未来10年将从2009年的0.8ZB增长到2020年的35ZB(1ZB＝1000EB＝1000000PB)，10年将增长44倍，年均增长40％。而存在如此多的异构数据，彼此之间无法进行无缝交换，形成数据孤岛，无法发挥数据的应用价值。现在，我们面临的挑战是，如何处理海量的非结构化数据和不确定的数据，并从这些数据中挖掘出商业价值。

发明内容

鉴于目前技术存在的上述不足，本发明提供一种基于适配器的大数据转换方法及系统，本发明的方法可以自动执行批量数据转换脚本集合，保存转换脚本执行结果信息，并据此生成应用分析报告，采用本发明可以减少异构数据进行转换的逻辑错误、提高异构数据之间的交换效率，以及降低异构数据的数据采集与分析成本。

本发明的采用如下技术方案：

一种基于适配器的大数据转换方法，包括以下步骤：

接收异构数据转换请求并对异构数据解析处理和基于SQL脚本对异构数据进行配置；

对解析处理的异构数据进行缓存处理以及对进行配置的异构数据进行运行阶段配置；

对经过缓存处理的异构数据进行转换处理并对转换的异构数据进行储存以及对运行阶段配置的异构数据进行运行阶段运行；

对上述储存的异构数据进行展现。

作为本发明的优选技术方案，所述接收异构数据转换请求并对异构数据解析处理和基于SQL脚本对异构数据进行配置的步骤包括：

将异构数据源中的数据，制定标准的接口；

建立数据管理任务项与对应转换适配器自动识别的WSDL文件；

将异构数据解析脚本和逻辑映射文件部署统一数据交换平台；

确定异构数据管理任务项集合；

根据异构数据管理任务项调试相应的SQL脚本得到SQL脚本集；

配置异构数据管理任务项和SQL脚本之间的逻辑映射文件；

将所述SQL脚本集和逻辑映射文件放置于数据交换平台。

作为本发明的优选技术方案，所述对解析处理的异构数据进行缓存处理以及对进行配置的异构数据进行运行阶段配置的步骤包括；

对解析处理的异构数据通过适配转换脚本进行转换后存入缓存；

基于异构数据交换平台解析逻辑映射文件；

异构数据交换平台根据执行动作参数确定执行时刻并执行每个数据库管理任务项。

作为本发明的优选技术方案，所述对经过缓存处理的异构数据进行转换处理并对转换的异构数据进行储存以及对运行阶段配置的异构数据进行运行阶段运行的步骤包括：

对经过缓存处理的异构数据通过调用大数据转换引擎，进行批量 数据转换并对转换的异构数据进行储存；

异构数据交换平台根据逻辑映射文件找到该数据库管理任务项映射的SQL脚本并读取SQL脚本内容。

作为本发明的优选技术方案，所述对上述储存的异构数据进行展现的步骤包括：

通过调用大数据分析引擎对上述储存的异构数据进行分析；

将经过分析过后的数据进行数据前端展示。

本发明的另一面，一种基于适配器的大数据转换系统，包括依次相连的请求接收模块、异构数据解析模块、异构数据缓存处理模块、适配器处理模块、异构数据转换处理模块、异构数据储存处理模块、异构数据服务处理模块、异构数据展现处理模块。

作为本发明的优选技术方案，所述请求接收模块与移动客户端、Web客户端、PC客户端相连。

本发明具有以下有益效果：