[发明专利]文件处理方法、文件匹配方法、装置、电子设备和介质在审
申请号: | 202010685575.7 | 申请日: | 2020-07-16 |
公开(公告)号: | CN111913912A | 公开(公告)日: | 2020-11-10 |
发明(设计)人: | 何轶;王长虎 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | G06F16/13 | 分类号: | G06F16/13;G06F16/14 |
代理公司: | 北京卫智畅科专利代理事务所(普通合伙) 11557 | 代理人: | 陈佳 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文件 处理 方法 匹配 装置 电子设备 介质 | ||
本公开的实施例公开了文件处理方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括:提取目标文件组中每个文件的索引组,得到索引组集合;将上述目标文件组中每个文件的索引组分别与上述目标文件组中的各个文件进行匹配生成倒排索引组,得到倒排索引组集合;对于上述倒排索引组集合中的每个倒排索引,确定上述倒排索引的权重。该实施方式可以确定不易发生数值上突变的倒排索引权重。在此基础上,可以提高倒排索引的检索性能,加快检索速度,让检索结果变化更加平滑。
技术领域
本公开的实施例涉及计算机技术领域,具体涉及文件处理方法、装置、电子设备和计算机可读介质。
背景技术
随着互联网、大数据和人工智能领域的快速发展,需要处理的数据量逐渐增大,在检索、召回、消重等场景下,存在计算量大、耗时长的问题。对数据的处理方式不同,导致对数据的检索效率不同。对数据不合理的处理,导致处理数据低效率。
发明内容
本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。本公开的一些实施例提出了用于文件处理的方法、装置、电子设备和计算机可读介质,来解决以上背景技术部分提到的技术问题。
第一方面,本公开的一些实施例提供了一种文件处理的方法,该方法包括:提取目标文件组中每个文件的索引组,得到索引组集合;将上述目标文件组中每个文件的索引组分别与上述目标文件组中的各个文件进行匹配生成倒排索引组,得到倒排索引组集合;对于上述倒排索引组集合中的每个倒排索引,确定上述倒排索引的权重。
第二方面,本公开的一些实施例提供了一种文件处理装置,装置包括:提取单元,被配置成提取目标文件组中每个文件的索引组,得到索引组集合;匹配单元,被配置成将上述目标文件组中每个文件的索引组分别与上述目标文件组中的各个文件进行匹配生成倒排索引组,得到倒排索引组集合;生成单元,被配置成对于上述倒排索引组集合中的每个倒排索引,确定上述倒排索引的权重。
第三方面,本公开的一些实施例提供了一种文件匹配方法,该方法包括:获取第一文件和第二文件;分别对上述第一文件和上述第二文件进行索引提取,得到第一索引组和第二索引组;基于对应关系表,检索上述第一索引组中的每个索引对应的倒排索引的权重和上述第二索引组中的每个索引对应的倒排索引的权重。
第四方面,本公开的一些实施例提供了一种文件匹配装置,装置包括:文件获取单元,被配置成获取第一文件和第二文件;索引提取单元,被配置成将分别对上述第一文件和上述第二文件进行索引提取,得到第一索引组和第二索引组;文件匹配单元,被配置成基于对应关系表,检索上述第一索引组中的每个索引对应的倒排索引的权重和上述第二索引组中的每个索引对应的倒排索引的权重。
第五方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一实现方式描述的方法,或实现第三方面中任一实现方式描述的方法。
第六方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现如第一方面中任一实现方式描述的方法,或实现如第三方面中任一实现方式描述的方法。
本公开的上述各个实施例中的一个实施例具有如下有益效果:通过提取目标文件组中每个文件的索引组,从而可以得到索引组集合,其中,文件可以是图片,也可以是文本;此外,通过将上述目标文件组中每个文件的索引组分别与上述目标文件组中的各个文件进行匹配生成倒排索引组,得到倒排索引组集合;然后,对于上述倒排索引组集合中的每个倒排索引,确定上述倒排索引的权重。通过上述方法,可以得到倒排索引的权重。权重值可以代表数据的重要性,进而,为后续进行文件的匹配、检索提供了基础。有助于解决后续过程中存在的计算量大、耗时长的问题。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010685575.7/2.html,转载请声明来源钻瓜专利网。