[发明专利]用于数据索引的方法、电子设备和计算机程序产品

说明书

本公开的实施例提供了一种用于数据索引的方法、电子设备和计算机程序产品。用于数据索引的方法包括获得用于存储的多个数据块。该方法还包括生成多个数据块的多个向量化表示，使多个数据块中相似性更高的数据块的向量化表示之间的差异更小。该方法还包括存储多个向量化表示以用于分别索引多个数据块。通过向量化表示作为数据块的索引，可以借助向量化表示来有效衡量数据块的相似性，从而提供了基于相似性执行数据块的模糊搜索的可能性。

技术领域

本公开的实施例总体上涉及存储系统，并且更特别地，涉及一种用于数据索引的方法、电子设备和计算机程序产品。

背景技术

在存储系统中，诸如在文件系统、备份系统等系统中，文件和数据被划分为具有固定长度或可变长度的数据块进行存储。为了支持快速随机访问和重复数据删除，通常会构建数据块对应的索引，通过索引来从所存储的大量数据块中查找和定位期望的数据块。索引的构建将影响到数据查询和访问的效率和对不同应用场景的适用性。

发明内容

本公开的实施例涉及一种用于数据索引的改进方案。

在本公开的第一方面，提供了一种用于数据索引的方法。该方法包括获得用于存储的多个数据块。该方法还包括生成多个数据块的多个向量化表示，使多个数据块中相似性更高的数据块的向量化表示之间的差异更小。该方法还包括存储多个向量化表示以用于分别索引多个数据块。

在本公开的第二方面，提供了一种电子设备。该电子设备包括至少一个处理器；以及存储有计算机程序指令的至少一个存储器，至少一个存储器和计算机程序指令被配置为与至少一个处理器一起使电子设备执行动作。动作包括：获得用于存储的多个数据块；生成多个数据块的多个向量化表示，使多个数据块中相似性更高的数据块的向量化表示之间的差异更小；以及存储多个向量化表示以用于分别索引多个数据块。

在本公开的第三方面，提供了一种计算机程序产品。该计算机程序产品被有形地存储在非易失性计算机可读介质上并且包括计算机可执行指令。计算机可执行指令在被执行时使设备执行动作。动作包括：获得用于存储的多个数据块；生成多个数据块的多个向量化表示，使多个数据块中相似性更高的数据块的向量化表示之间的差异更小；以及存储多个向量化表示以用于分别索引多个数据块。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其他特征通过以下的描述将变得容易理解。

附图说明

通过参考附图阅读下文的详细描述，本公开的实施例的上述以及其他目的、特征和优点将变得容易理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施例，其中：

图1示出了本公开的实施例可以在其中被实现的示例环境的框图；

图2示出了在图1的环境中的数据查询的示例；

图3示出了根据本公开的一些实施例的数据管理系统的框图；

图4示出了根据本公开的一些实施例的用于训练表示生成模型的系统的框图；

图5示出了根据本公开的另一些实施例的数据管理系统的框图；

图6示出了根据本公开的一些实施例的用于存储索引的数据结构的示意图；

图7示出了根据本公开的一些实施例的用于数据索引的过程的流程图；以及

图8示出了可以被用来实施本公开的实施例的设备的示意性框图。

贯穿所有附图，相同或者相似的参考标号被用来表示相同或者相似的组件。

具体实施方式

下面将参考附图中所示出的若干示例性实施例来描述本公开的原理和精神。应当理解，描述这些具体的实施例仅是为了使本领域的技术人员能够更好地理解并实现本公开，而并非以任何方式限制本公开的范围。