[发明专利]基于目标存储设备的数据存储方法、装置、设备和介质

说明书

本申请涉及存储技术领域，尤其是一种基于目标存储设备的数据存储方法、装置、设备和介质。所述方法包括：获取数据库更新信息，所述数据库更新信息携带有文件标识；生成与所述文件标识对应的互斥锁，所述互斥锁用于禁止其他方对所述文件标识所对应的文件的写操作；根据所述数据库更新信息读取更新数据；将所述更新数据序列化后写入目标存储设备，所述目标存储设备中存储的数据用于数据使用方的读取。采用本方法能够提高数据读取效率。此外，本申请还涉及区块链技术，数据库更新信息可存储于区块链节点中。

技术领域

本申请涉及存储技术领域，特别是涉及一种基于目标存储设备的数据存储方法、装置、设备和介质。

背景技术

pandas DataFrame(简称DataFrame)是当今python数据分析技术使用的最主要的内存数据集之一。numpy ndarray是一个Python数据科学计算库，支持对N维数组和矩阵的操作，用于快速处理任意维度的数组。

传统技术中，每次从数据库读取数据时，例如读取大量数据，需要将数据序列化成DataFrame数据，但是由于数据量较大，因此需要将序列化后的数据进行缓存。常规的做法是需要耗时将数据全量加载至内存中，然后在内存中对数据进行过滤，过滤完成后再对数据进行序列化处理得到DataFrame数据，从而才能获取到所要读取的数据。这样一方面需要每次将全量数据加载至内存，数据读取量大，另一方面需要耗费时间在序列化上，这样导致数据读取速度较慢。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高数据读取效率的基于目标存储设备的数据存储方法、装置、设备和介质。

一种基于目标存储设备的数据存储方法，所述方法包括：

获取数据库更新信息，所述数据库更新信息携带有文件标识；

生成与所述文件标识对应的互斥锁，所述互斥锁用于禁止其他方对所述文件标识所对应的文件的写操作；

根据所述数据库更新信息读取更新数据；

将所述更新数据序列化后写入目标存储设备，所述目标存储设备中存储的数据用于数据使用方的读取。

在其中一个实施例中，所述将所述更新数据序列化后写入目标存储设备，包括：

根据所述更新数据从目标存储设备读取差分数据；

将序列化后的更新数据和所述差分数据进行合并后存储至目标存储设备。

在其中一个实施例中，所述将所述更新数据序列化后写入目标存储设备，包括：

获取更新数据对应的文件的读取速度；

根据所述读取速度确定对应的目标存储设备；

将更新数据序列化后存储至所确定的目标存储设备中。

在其中一个实施例中，所述生成与所述文件标识对应的互斥锁，包括：

判断是否存在与所述文件标识对应的锁文件；

当不存在与所述文件标识对应的锁文件，则生成互斥锁；

当存在与所述文件标识对应的锁文件，则判断所述锁文件对应的互斥锁是否超时；

当所述锁文件对应的互斥锁超时，则生成互斥锁；

当所述锁文件对应的互斥锁未超时，则延时一段时间后，继续判断是否存在与所述文件标识对应的锁文件，直至生成互斥锁。

在其中一个实施例中，所述将所述更新数据序列化后写入目标存储设备之后，还包括：

接收数据读取指令，根据所述数据读取指令获取行列索引；