[发明专利]数据存储方法和装置、数据查询方法和装置、数据结构、电子设备及计算机可读存储介质

说明书

本申请公开了一种数据存储方法和装置、数据查询方法和装置、数据结构、电子设备及计算机可读存储介质。该方法包括：获取待存储的数据对；根据关键字确定所述数据对的分桶值；在冲突链表中，查找所述分桶值所指向的分组；将关键字写入第一存储位置中的最小空白地址，将取值写入第二存储位置的最小空白地址，并将两个所述最小空白地址设置相同的标识。本申请实施例可以在表头仅存储指向对应的冲突链表的分桶值，而无需存储键值对，因此大大节省了表头占用的存储空间，并且由于在对应的冲突链表中按分组分别连续地存储键和值，而无需按对存储键值对，从而减少了为了对齐的填充空白，降低了内存的浪费，提高了有效内存使用率。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据存储方法和装置、数据查询方法和装置、数据结构、电子设备及计算机可读存储介质。

背景技术

随着人工智能应用的发展，作为人工智能的硬件基础，GPU(图形处理单元)得到了广泛的使用，尤其是近年来多用于深度学习(CTR，Click-Through Rate)模型，该模型具有模型较大、计算密集的特点，因此训练过程中常常需要频繁地查询GPU上的嵌入数据。但是这样的嵌入数据通常采用GPU哈希表方式来组织，因此在访问时由于在内存使用量和内存对齐方面受到限制而使得严重影响了GPU在应用中的性能表现。

因此，需要一种能够提高哈希表的内存利用率的方案。

发明内容

本申请实施例提供一种数据存储方法和装置、数据查询方法和装置、数据结构、电子设备及计算机可读存储介质，以解决现有技术中哈希表的内存利用率较低以及内存资源浪费的缺陷。

为达到上述目的，本申请实施例提供了一种数据存储方法，包括：

获取待存储的数据对，其中，所述数据对包括关键字和取值；

根据所述关键字确定所述数据对的分桶值，其中，所述分桶值为所述关键字的哈希值对分桶数取余的值；

在冲突链表中，查找所述分桶值所指向的分组，其中，所述分组包括位置相邻且分别具有固定长度的第一存储位置和第二存储位置；

将所述关键字写入所述第一存储位置中的最小空白地址，将所述取值写入所述第二存储位置的最小空白地址，并将两个所述最小空白地址设置相同的标识，其中，所述最小空白地址为所述第一存储位置或所述第二存储位置中未存储数据的最小地址。

本申请实施例还提供了一种数据查询方法，包括：

获取待查询的关键字；

根据所述关键字确定分桶值，其中，所述分桶值为所述关键字的哈希值对分桶数取余的值；

在冲突链表中，遍历所述分桶值所指向的分组或者所述分组所指向的其他分组，查找所述关键字所存储的第一存储位置，其中，所述分组包括位置相邻且分别具有固定长度的第一存储位置和第二存储位置；

根据所述第一存储位置的标识，在同一分组的第二存储位置中具有相同标识的地址读取所述关键字对应的取值。

本申请实施例还提供了一种数据存储装置，包括：

获取模块，用于获取待存储的数据对，其中，所述数据对包括关键字和取值；

确定模块，用于根据所述关键字确定所述数据对的分桶值，其中，所述分桶值为所述关键字的哈希值对分桶数取余的值；

查找模块，用于在冲突链表中，查找所述分桶值所指向的分组，其中，所述分组包括位置相邻且分别具有固定长度的第一存储位置和第二存储位置；

写入模块，用于将所述关键字写入所述第一存储位置中的最小空白地址，将所述取值写入所述第二存储位置的最小空白地址，并将两个所述最小空白地址设置相同的标识，其中，所述最小空白地址为所述第一存储位置或所述第二存储位置中未存储数据的最小地址。