[发明专利]一种多指标排序数据处理方法及设备有效
申请号: | 201110325432.6 | 申请日: | 2011-10-24 |
公开(公告)号: | CN103064862A | 公开(公告)日: | 2013-04-24 |
发明(设计)人: | 黄明 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京同达信恒知识产权代理有限公司 11291 | 代理人: | 郭润湘 |
地址: | 英属开曼群岛大开曼*** | 国省代码: | 开曼群岛;KY |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 指标 排序 数据处理 方法 设备 | ||
1.一种多指标排序数据处理方法,其特征在于,所述方法包括:
确定多条具有相同维度信息的第一记录信息,其中,每条第一记录信息中包含了主体信息、该主体信息对应的至少两个指标、各指标对应的指标值;
分别将每条第一记录信息按照其中包含的指标拆分为多条第二记录信息,其中,一条第二记录信息中包含一个指标、与该指标对应的一个主体信息,以及该主体信息在该指标下的指标值;
将具有相同指标的第二记录信息按照包含的指标值进行排序。
2.如权利要求1所述的方法,其特征在于,将具有相同指标的第二记录信息按照包含的指标值进行排序之后,所述方法还包括:
分别将具有相同主体信息的第二记录信息合并为一条第一记录信息,并显示合并后的第一记录信息中的主体信息对应的各指标的排序结果。
3.如权利要求1所述的方法,其特征在于,所述确定多条具有相同维度信息的第一记录信息具体包括:
将所述多条第一记录信息划分为至少一个信息集合,所述信息集合中包含的第一记录信息具有相同的维度信息;
将任一所述的信息集合中的第一记录信息作为确定的多条具有相同维度信息的第一记录信息。
4.如权利要求1~3任一所述的方法,其特征在于,将第一记录信息拆分为多条第二记录信息之后,且将具有相同指标的第二记录信息按照包含的指标值进行排序之前,所述方法还包括:
将拆分得到的第二记录信息划分为多个子集合,所述子集合中包含的第二记录信息具有相同的指标;
将具有相同指标的第二记录信息按照包含的指标值进行排序,具体包括:
针对每个子集合中的多条第二记录信息,按照包含的指标值进行排序。
5.如权利要求4所述的方法,其特征在于,所述多指标排序数据处理方法通过Hadoop中的映射-归约Map-Reduce编程模型或Hive来实现。
6.如权利要求5所述的方法,其特征在于,将拆分得到的第二记录信息划分为多个子集合,具体包括:
利用Map-Reduce中的KeyComparator类将拆分得到的第二记录信息划分为多个子集合;
针对每个子集合中的多条第二记录信息,按照包含的指标值进行排序,具体包括:
利用Map-Reduce中的KeyPartitioner类确定以并行和/或串行方式对各子集合中的第二记录信息进行排序;
利用Map-Reduce中的KeyValueComparator类针对每个子集合中的多条第二记录信息,按照包含的指标值进行排序。
7.一种多指标排序数据处理设备,其特征在于,所述设备包括:
第一记录信息确定模块,用于确定多条具有相同维度信息的第一记录信息,其中,每条第一记录信息中包含了主体信息、该主体信息对应的至少两个指标、各指标对应的指标值;
第二记录信息生成模块,用于分别将每条第一记录信息按照其中包含的指标拆分为多条第二记录信息,其中,一条第二记录信息中包含一个指标、与该指标对应的一个主体信息,以及该主体信息在该指标下的指标值;
排序模块,用于将具有相同指标的第二记录信息按照包含的指标值进行排序。
8.如权利要求7所述的设备,其特征在于,所述设备还包括:
合并模块,用于分别将具有相同主体信息的第二记录信息合并为一条第一记录信息,并显示合并后的第一记录信息中的主体信息对应的各指标的排序结果。
9.如权利要求7所述的设备,其特征在于,所述第一记录信息确定模块具体包括:
信息集合划分单元,用于将所述多条第一记录信息划分为至少一个信息集合,所述信息集合中包含的第一记录信息具有相同的维度信息;
确定单元,用于将任一所述的信息集合中的第一记录信息作为确定的多条具有相同维度信息的第一记录信息。
10.如权利要求7~9任一所述的设备,其特征在于,所述设备还包括:
子集合划分模块,用于将拆分得到的第二记录信息划分为多个子集合,所述子集合中包含的第二记录信息具有相同的指标;
所述排序模块,具体用于针对每个子集合中的多条第二记录信息,按照包含的指标值进行排序。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201110325432.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:轮椅转动机构
- 下一篇:一种IGBT驱动电路