[发明专利]云计算模式下的数据处理方法、设备和系统有效
申请号: | 201210260828.1 | 申请日: | 2012-07-25 |
公开(公告)号: | CN102780780A | 公开(公告)日: | 2012-11-14 |
发明(设计)人: | 李净;郭强;冯立华;张云勇;王志山;童晓渝 | 申请(专利权)人: | 中国联合网络通信集团有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 刘芳 |
地址: | 100033 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 计算 模式 数据处理 方法 设备 系统 | ||
技术领域
本发明涉及信息技术领域,特别涉及一种云计算模式下的数据处理方法、设备和系统。
背景技术
随着计算机技术的发展,数据提取、转换和加载技术得到的广泛的应用。
现有技术中,数据的提取、转换和加载(Extraction Transformation Loading,ETL)普遍采用高性能服务器控制磁盘阵列的处理方式。然而,当ETL的性能要求提高时,需要提高服务器或磁盘阵列的配置,或者修改服务器中ETL的处理程序,系统可扩展和易用性差。
发明内容
本发明提供了一种云计算模式下的数据处理方法、设备和系统,以提高数据处理系统的可扩展性和易用性。
一方面,本发明提供一种云计算模式下的数据处理方法,包括:
向目录服务器LDAP下发第一提取和转换指令,所述第一提取和转换指令中携带待处理数据的存储路径,用于表示对所述待处理数据进行提取和转换操作,以使所述LDAP向至少一个第一云服务节点下发第二提取和转换指令,所述第二提取和转换指令中携带所述待处理数据的存储路径以及所述待处理数据的特征信息,用于表示对所述特征信息对应的待处理数据进行提取和转换操作;
接收所述第一云服务节点上报的提取和转换响应,所述提取和转换响应表示完成对所述特征信息对应的待处理数据进行的提取和转换操作;
向所述LDAP下发第一合并指令,所述第一合并指令表示对所述第一云服务节点的提取和转换操作结果进行合并,以使所述LDAP向至少一个第二云服务节点下发第二合并指令,所述第二合并指令中携带至少两个第一云服务节点的标识信息和待合并数据的存储路径,用于表示对所述标识信息对应的第一云服务节点的待合并数据进行合并,所述待合并数据为所述第一云服务节点的提取和转换操作结果;
接收至少一个所述第二云服务节点上报的合并响应,所述合并响应表示完成对所述标识信息对应的第一云服务节点的待合并数据进行合并;
向至少一个所述第二云服务节点下发入库指令,所述入库指令中携带数据库服务器的标识信息,所述入库指令表示将合并结果加载至所述数据库服务器。
本发明提供另一种云计算模式下的数据处理方法,包括:
接收云服务主节点下发的第一提取和转换指令,所述第一提取和转换指令中携带待处理数据的存储路径,用于表示对所述待处理数据进行提取和转换操作;
根据设定的分布式数据分发策略以及本地存储的系统中各云服务器节点的资源占用目录,向至少一个第一云服务器节点下发第二提取和转换指令,所述第二提取和转换指令中携带所述待处理数据的存储路径以及所述待处理数据的特征信息,用于表示对所述特征信息对应的待处理数据进行提取和转换操作;
接收所述云服务主节点下发的第一合并指令,所述第一合并指令表示对所述第一云服务节点的提取和转换操作结果进行合并;
根据设定的分布式数据合并策略以及所述资源占用目录,向至少一个第二云服务节点下发第二合并指令,所述第二合并指令中携带至少两个第一云服务节点的标识信息和待合并数据的存储路径,用于表示对所述标识信息对应的第一云服务节点的待合并数据进行合并,所述待合并数据为所述第一云服务节点的提取和转换操作结果。
本发明提供又一种云计算模式下的数据处理方法,包括:
接收目录服务器LDAP下发的第二提取和转换指令,所述第二提取和转换指令中携带待处理数据的存储路径以及所述待处理数据的特征信息,用于表示对所述特征信息对应的待处理数据进行提取和转换操作;根据所述待处理数据的存储路径获取所述待处理数据,并对所述特征信息对应的待处理数据进行提取和转换操作;向云服务主节点上报提取和转换响应,所述提取和转换响应表示完成对所述特征信息对应的待处理数据进行的提取和转换操作;
和/或,接收所述LDAP下发的第二合并指令,所述第二合并指令中携带至少两个第一云服务节点的标识信息和待合并数据的存储路径,用于表示对所述标识信息对应的第一云服务节点的待合并数据进行合并,所述待合并数据为所述第一云服务节点的提取和转换操作结果;根据所述待合并数据的存储路径获取所述待合并数据,对所述标识信息对应的第一云服务节点的待合并数据进行合并;向所述云服务主节点上报合并响应,所述合并响应表示完成对所述标识信息对应的第一云服务节点的待合并数据进行合并。
另一方面,本发明还提供一种云服务主节点,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国联合网络通信集团有限公司,未经中国联合网络通信集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201210260828.1/2.html,转载请声明来源钻瓜专利网。