[发明专利]一种大数据处理方法及其装置在审
申请号: | 201710996794.5 | 申请日: | 2017-10-19 |
公开(公告)号: | CN107741879A | 公开(公告)日: | 2018-02-27 |
发明(设计)人: | 杨吉东 | 申请(专利权)人: | 郑州云海信息技术有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;G06F17/30 |
代理公司: | 北京安信方达知识产权代理有限公司11262 | 代理人: | 李红爽,李丹 |
地址: | 450018 河南省郑州市*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 及其 装置 | ||
1.一种大数据处理方法,其特征在于,包括:
获取至少一个第一大数据;
采用分布式处理将所述至少一个第一大数据通过数据处理器进行处理,获得数据处理结果,所述数据处理器用于根据所述第一大数据的参数信息,确定所述第一大数据特性,并根据所述第一大数据特性对所述第一大数据进行数据处理的处理器。
2.根据权利要求1所述的方法,其特征在于,所述获取至少一个第一大数据之前,还包括:
获取至少一个第二大数据;
根据所述至少一个第二大数据的各维度参数,确定所述数据处理器。
3.根据权利要求2所述的方法,其特征在于,所述获取至少一个第一大数据之后,还包括:
将所述至少一个第一大数据进行分布式存储。
4.根据权利要求3所述的方法,其特征在于,所述将所述至少一个第一大数据进行分布式存储,包括:
将所述至少一个第一大数据存储在分布式数据库。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述采用分布式处理将所述至少一个第一大数据通过数据处理器进行处理,获得数据处理结果之后,还包括:
将所述数据处理结果进行优化处理,获得优化结果。
6.一种大数据处理装置,其特征在于,包括:
获取模块,用于获取至少一个第一大数据;
处理模块,用于采用分布式处理将所述至少一个第一大数据通过数据处理器进行处理,获得数据处理结果,所述数据处理器用于根据所述第一大数据的参数信息,确定所述第一大数据特性,并根据所述第一大数据特性对所述第一大数据进行数据处理的处理器。
7.根据权利要求6所述的装置,其特征在于,所述获取模块,还用于获取至少一个第二大数据;
所述处理模块,还用于根据所述至少一个第二大数据的各维度参数,确定所述数据处理器。
8.根据权利要求7所述的装置,其特征在于,所述处理模块,还用于将所述至少一个第一大数据进行分布式存储。
9.根据权利要求8所述的装置,其特征在于,所述处理模块,还用于将所述至少一个第一大数据存储在分布式数据库。
10.根据权利要求6-9任一项所述的装置,其特征在于,所述处理模块,还用于将所述数据处理结果进行优化处理,获得优化结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于郑州云海信息技术有限公司,未经郑州云海信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710996794.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种基于灰度关联层次分析的网络选择方法
- 下一篇:一种分权限控制的机顶盒系统