[发明专利]分类方法、查找方法和设备有效
申请号: | 201410373639.4 | 申请日: | 2014-07-31 |
公开(公告)号: | CN105302838B | 公开(公告)日: | 2019-01-15 |
发明(设计)人: | 虞志益;周力君;施炜劲;周海捷 | 申请(专利权)人: | 华为技术有限公司;复旦大学 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/27 |
代理公司: | 北京龙双利达知识产权代理有限公司 11329 | 代理人: | 王君;肖鹂 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分类 方法 查找 设备 | ||
1.一种分类方法,其特征在于,所述分类方法用于分布式系统中,所述分布式系统包括一个主节点和X个节点,所述方法包括:
第一节点将所述主节点分配的待分类数据进行哈希编码得到多个哈希码,所述第一节点为所述X个节点之一;
所述第一节点将所述多个哈希码根据高m位存储到所述第一节点的s个第一存储桶中,使得所述s个第一存储桶中的每个第一存储桶中的哈希码具有相同的高m位,并且所述s个第一存储桶中的不同第一存储桶中的哈希码具有不同的高m位;
所述第一节点与所述X个节点中的第二节点交换各自的s个第一存储桶中的哈希码,使得所述X个节点中的每个节点的第二存储桶存储所述X个节点中的具有相同高m位的哈希码,并且所述X个节点中的不同节点的第二存储桶中存储的哈希码具有不同的高m位;
所述第一节点将所述X个节点中与所述第一节点对应的具有相同高m位的哈希码存储到所述第一节点的第二存储桶中。
2.根据权利要求1所述的分类方法,其特征在于,所述第一节点与所述X个节点中的第二节点交换各自的s个第一存储桶中的哈希码,使得所述X个节点中的每个节点的第二存储桶存储所述X个节点中的具有相同高m位的哈希码,包括:
所述第一节点确定所述第二节点对应的哈希码的高m位,将与所述第二节点对应的哈希码的高m位相同的第一节点的第p个存储桶中的哈希码发送至所述第二节点,以便所述第二节点将所述第一节点的第p个存储桶中的哈希码与具有相同高m位的第二节点的第q个存储桶中的哈希码存储在所述第二节点的第二存储桶中;
所述第一节点接收所述第二节点发送的第x个存储桶中的哈希码,
其中,所述第一节点将所述X个节点中与所述第一节点对应的具有相同高m位的哈希码存储到所述第一节点的第二存储桶中,包括:
所述第一节点将所述第二节点发送的所述第x个存储桶中的哈希码与具有相同高m位的所述第一节点的第y个存储桶中的哈希码存储在所述第一节点的第二存储桶中,使得具有相同高m位的哈希码唯一对应所述X个节点中的一个节点。
3.根据权利要求1或2所述的分类方法,其特征在于,还包括:
所述第一节点将所述第一节点的第二存储桶中的哈希码根据次高n位存储到t个第三个存储桶中,其中所述t个第三存储桶中的每个第三存储桶中的哈希码具有相同的高m位和次高n位,并且所述t个第三存储桶中的不同第三存储桶中的哈希码具有不同的高m位和次高n位。
4.根据权利要求3所述的分类方法,其特征在于,还包括:
所述第一节点将所述t个第三存储桶中的每个第三存储桶中的哈希码排序;
所述第一节点获取所述每个第三存储桶中的预设哈希码和所述预设哈希码在所述第三存储桶中的位置信息;
所述第一节点根据所述每个第三存储桶中的预设哈希码和所述预设哈希码在第三存储桶中的位置信息生成查找表,以便所述第一节点根据所述查找表确定待查找的哈希码在所述第三存储桶中的位置。
5.根据权利要求3所述的分类方法,其特征在于,所述n和所述t满足以下关系:t=2n。
6.根据权利要求1或2所述的分类方法,其特征在于,所述待分类数据为待分类文本中的多个单词,在所述第一节点将所述主节点分配的待分类文本中的多个单词根据哈希编码得到多个哈希码之后,所述分类方法还包括:
所述第一节点确定所述多个哈希码分别对应的多个P位码,所述多个P位码分别表示所述多个哈希码对应的所述多个单词的统计频次;
所述第一节点将所述多个P位码与对应的所述多个哈希码分别结合为多个第一码,使得所述多个P位码分别为所述多个第一码的低P位。
7.根据权利要求6所述的分类方法,其特征在于,在所述第一节点将所述X个节点中与所述第一节点对应的具有相同高m位的哈希码存储到所述第一节点的第二存储桶中之后,所述方法还包括:
所述第一节点将所述第二存储桶中具有相同哈希码的第一码的低P位相加。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司;复旦大学,未经华为技术有限公司;复旦大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410373639.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种热气飞艇自增压热源装置
- 下一篇:手机保护套