[发明专利]数据处理方法、装置和系统在审
申请号: | 201810911756.X | 申请日: | 2018-08-10 |
公开(公告)号: | CN110874385A | 公开(公告)日: | 2020-03-10 |
发明(设计)人: | 赵康;潘攀;任小枫 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F16/28 | 分类号: | G06F16/28 |
代理公司: | 北京博浩百睿知识产权代理有限责任公司 11134 | 代理人: | 褚敏;宋子良 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 系统 | ||
本申请公开了一种数据处理方法、装置和系统。其中,该方法包括:获取用户输入的查询向量,其中,查询向量为经过二值化所处理得到的向量;基于聚类中心点和查询向量之间的第一海明距离,得到与查询向量对应的第一向量集合,其中,聚类中心点是对向量库中采样向量进行聚类得到的;基于查询向量和第一向量集合中每个向量之间的第二海明距离,得到查询结果。本申请解决了现有技术中数据处理方法要求查询向量和查询结果的海明距离较短,适用性较差的技术问题。
技术领域
本申请涉及数据处理领域,具体而言,涉及一种数据处理方法、装置和系统。
背景技术
由于数据爆炸式增长,为了对数据进行压缩存储,同时加速计算,可以对数据进行二值化处理,也即将数据转换为0或1。因此,对数据的检索实际属于对二值化处理后的数据的检索。在现有技术中,一般采用类似哈希Hash表的方式,对数据进行分桶存储。当用户输入查询向量时,进入到对应桶进行查询,最后进行汇总排序,从而得到最终的检索结果。
但是,采用类似Hash表的方式要求查询向量和查询结果的海明半径很短,导致无法适用于多种场景,尤其在图片搜索的领域更是如此。
针对现有技术中数据处理方法要求查询向量和查询结果的海明距离较短,适用性较差的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种数据处理方法、装置和系统,以至少解决现有技术中数据处理方法要求查询向量和查询结果的海明距离较短,适用性较差的技术问题。
根据本申请实施例的一个方面,提供了一种数据处理方法,包括:获取用户输入的查询向量,其中,查询向量为经过二值化所处理得到的向量;基于聚类中心点和查询向量之间的第一海明距离,得到与查询向量对应的第一向量集合,其中,聚类中心点是对向量库中采样向量进行聚类得到的;基于查询向量和第一向量集合中每个向量之间的第二海明距离,得到查询结果。
根据本申请实施例的另一方面,还提供了一种数据处理方法,包括:显示用户输入的查询向量,其中,查询向量为经过二值化所处理得到的向量;显示查询结果,其中,查询结果是基于查询向量和与查询向量对应的第一向量集合中每个向量之间的第二海明距离得到的,第一向量集合是基于聚类中心点和查询向量之间的第一海明距离得到的,聚类中心点是对向量库中采样向量进行聚类得到的。
根据本申请实施例的另一方面,还提供了一种数据处理装置,包括:获取模块,用于获取用户输入的查询向量,其中,查询向量为经过二值化所处理得到的向量;第一处理模块,用于基于聚类中心点和查询向量之间的第一海明距离,得到与查询向量对应的第一向量集合,其中,聚类中心点是对向量库中采样向量进行聚类得到的;第二处理模块,用于基于查询向量和第一向量集合中每个向量之间的第二海明距离,得到查询结果。
根据本申请实施例的另一方面,还提供了一种数据处理装置,包括:第一显示模块,用于显示用户输入的查询向量,其中,查询向量为经过二值化所处理得到的向量;第二显示模块,用于显示查询结果,其中,查询结果是基于查询向量和与查询向量对应的第一向量集合中每个向量之间的第二海明距离得到的,第一向量集合是基于聚类中心点和查询向量之间的第一海明距离得到的,聚类中心点是对向量库中采样向量进行聚类得到的。
根据本申请实施例的另一方面,还提供了一种数据处理系统,包括:输入装置,用于输入查询向量,其中,查询向量为经过二值化所处理得到的向量;处理器,与输入装置连接,用于基于聚类中心点和查询向量之间的第一海明距离,得到与查询向量对应的第一向量集合,基于查询向量和第一向量集合中每个向量之间的第二海明距离,得到查询结果,其中,聚类中心点是对向量库中采样向量进行聚类得到的。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810911756.X/2.html,转载请声明来源钻瓜专利网。