[发明专利]数据存储方法、可读介质和电子设备

说明书

本申请涉及一种数据存储方法、可读介质和电子设备。该方法用于数据库系统，数据库系统包括作为客户端、代理节点、协调服务节点、数据节点和存储服务节点的电子设备，该方法包括：客户端接收用户的数据存储请求，数据存储请求中携带有待存储数据的属性信息；客户端根据待存储数据的属性信息，确定出需要对待存储数据通过第一存储方式进行存储；客户端获取待存储数据的基本参数，并且将待存储数据的基本参数依次经由代理节点、协调服务节点传送至数据节点；数据节点根据接收到的基本参数得到待存储数据，并且将待存储数据存储至存储服务节点。本申请技术方案可以实现对大批量数据的快速存储，数据存储效率高，时延小，有助于提升用户体验。

技术领域

本申请涉及计算机技术领域，特别涉及一种数据存储方法、可读介质和电子设备。

背景技术

随着人工智能(Artificial Intelligence，AI)技术的快速发展，AI应用的大规模快速普及，一套AI系统需要应对的业务数据量呈几何级数增长。这其中以图形、视频、音频为代表的非结构化数据为主。目前业务处理这类非结构化数据的主流的做法是将数据通过算法先转化成向量(embedding vector)，之后通过向量数据库系统，例如Milvus系统(一种向量数据库系统)，进行向量近似性搜索，以实现对这些数据的搜索查询等需求。

然而目前用户在向向量数据库系统存储大批量数据时，数据存储的效率低，时延高，用户体验不佳。

发明内容

有鉴于此，本申请实施例提供了一种数据存储方法、可读介质和电子设备。本申请技术方案通过客户端接收用户的数据存储请求，数据存储请求中携带有待存储数据的属性信息；客户端根据待存储数据的属性信息，确定出需要对待存储数据通过第一存储方式进行存储；客户端获取待存储数据的基本参数，并且将待存储数据的基本参数依次经由代理节点、协调服务节点传送至数据节点；数据节点根据接收到的基本参数得到待存储数据，并且将待存储数据存储至存储服务节点。由于采用第一存储方式时，只需要在上述各节点中传递待存储数据的基本参数，通常这些基本参数的数据量较小，传输时占用带宽较低，传输速度快。可以实现数据的快速存储，有助于提升用户体验。

本申请的第一方面提供了一种数据存储方法，用于数据库系统，数据库系统包括作为客户端、代理节点、协调服务节点、数据节点和存储服务节点的电子设备，该方法包括：

客户端接收用户的数据存储请求，数据存储请求中携带有待存储数据的属性信息；客户端根据待存储数据的属性信息，确定出需要对待存储数据通过第一存储方式进行存储；客户端获取待存储数据的基本参数，并且将待存储数据的基本参数依次经由代理节点、协调服务节点传送至数据节点，其中，基本参数用于确定获取待存储数据的路径；数据节点根据接收到的基本参数得到待存储数据，并且将待存储数据存储至存储服务节点。

由于采用第一存储方式时，只需要在上述各节点中传递待存储数据的基本参数，通常这些基本参数的数据量较小，传输时占用带宽较低，传输速度快。相对于动辄数百兆的传输量几乎可以忽略不计。用户虽然也要上传数据文件，但是只需要把待存储的数据文件上传至存储服务节点，由数据节点直接读取，这样就可以绕过存储服务节点。整个过程只涉及对待存储数据的一次网络传输，无需在多个节点间传输待存储数据。可以实现数据的快速存储，减少数据在节点间大量传输，避免数据的多次打包拆包以及拷贝。有助于提升用户体验。

在上述第一方面的一种可能的实现中，该数据存储方法中，待存储数据的基本参数包括：待存储数据的路径信息。以供数据节点根据待存储数据的路径信息获取到未解析的待存储数据。

在上述第一方面的一种可能的实现中，该数据存储方法中，待存储数据的基本参数进一步包括：待存储数据的格式信息和/或待存储数据的解析方式。

在上述第一方面的一种可能的实现中，该数据存储方法中，将待存储数据的基本参数依次经由代理节点、协调服务节点传送至数据节点，包括：客户端将待存储数据的基本参数转换成JSON文本；将JSON文本依次经由代理节点、协调服务节点传送至数据节点。