[发明专利]用于数据索引的方法、电子设备和计算机程序产品

权利要求书

1.一种用于数据索引的方法，包括：

获得用于存储的多个数据块；

生成所述多个数据块的多个向量化表示，使所述多个数据块中相似性更高的数据块的向量化表示之间的差异更小；以及

存储所述多个向量化表示以用于分别索引所述多个数据块。

2.根据权利要求1所述的方法，其中生成所述多个数据块的所述多个向量化表示包括：

利用已训练的表示生成模型来生成所述多个数据块的所述多个向量化表示，所述表示生成模型为神经网络模型。

3.根据权利要求2所述的方法，其中所述表示生成模型基于训练三元组被训练，所述训练三元组包括第一训练数据块、与所述第一训练数据块相似的第二训练数据块以及与所述第一训练数据块不相似的第三训练数据块，并且

其中所述表示生成模型的训练目标是使所述表示生成模型为所述第一训练数据块和所述第二训练数据块生成的向量化表示之间的差异小于为所述第一训练数据块和所述第三训练数据块生成的向量化表示之间的差异。

4.根据权利要求3所述的方法，其中所述第一训练数据块和所述第三训练数据块从数据块集合中选择，并且所述第二训练数据块通过修改所述第一训练数据块的一部分而生成。

5.根据权利要求1所述的方法，其中所述多个向量化表示由相同维度的数值向量表示。

6.根据权利要求1所述的方法，其中存储所述多个向量化表示包括：

确定适用于近邻搜索的数据结构；以及

将所述多个向量化表示按所选择的数据结构进行存储。

7.根据权利要求1所述的方法，还包括：

获得与查询数据块相关联的查询；

生成所述查询数据块的查询向量化表示；

从所述多个向量化表示查找与所述查询向量化表示之间的差异小于差异阈值的至少一个向量化表示；以及

基于所述多个数据块中由所述至少一个向量化表示索引的至少一个数据块，来确定针对所述查询的响应。

8.根据权利要求7所述的方法，其中生成所述查询数据块的所述查询向量化表示包括：

利用已训练的表示生成模型来生成所述查询数据块的所述查询向量化表示，所述表示生成模型被用于生成所述多个数据块的所述多个向量化表示。

9.一种电子设备，包括：

至少一个处理器；以及

存储有计算机程序指令的至少一个存储器，所述至少一个存储器和所述计算机程序指令被配置为与所述至少一个处理器一起使所述电子设备执行动作，所述动作包括：

获得用于存储的多个数据块；

生成所述多个数据块的多个向量化表示，使所述多个数据块中相似性更高的数据块的向量化表示之间的差异更小；以及

存储所述多个向量化表示以用于分别索引所述多个数据块。

10.根据权利要求9所述的设备，其中生成所述多个数据块的所述多个向量化表示包括：

利用已训练的表示生成模型来生成所述多个数据块的所述多个向量化表示，所述表示生成模型为神经网络模型。

11.根据权利要求10所述的设备，其中所述表示生成模型基于训练三元组被训练，所述训练三元组包括第一训练数据块、与所述第一训练数据块相似的第二训练数据块以及与所述第一训练数据块不相似的第三训练数据块，并且

其中所述表示生成模型的训练目标是使所述表示生成模型为所述第一训练数据块和所述第二训练数据块生成的向量化表示之间的差异小于为所述第一训练数据块和所述第三训练数据块生成的向量化表示之间的差异。

12.根据权利要求11所述的设备，其中所述第一训练数据块和所述第三训练数据块从数据块集合中选择，并且所述第二训练数据块通过修改所述第一训练数据块的一部分而生成。