[发明专利]一种数据存储方法和装置

说明书

本申请提供一种数据存储方法和装置，其中方法包括：根据待存储的目标数据包含的数据主键，由存储系统中获取对应所述数据主键的存储标识数值，按照预设的标识更新规则，更新所述存储标识数值；将更新后的所述存储标识数值与数据主键对应存储至所述存储系统；根据更新后的存储标识数值以及预设的索引生成规则，计算对应本次数据存储的数据索引，并将所述数据索引与待存储的目标数据，对应存储至所述存储系统。本申请显著提高了数据存取速度。

技术领域

本申请涉及网络技术，特别涉及一种数据存储方法和装置。

背景技术

业务系统在处理业务的过程中，会产生多条业务数据，这些业务数据将由业务系统发送给后台处理系统，由后台处理系统根据这些数据进行一定的处理。相关技术中，所有业务数据可以并不是同时接收到的，后台处理系统在每接收到一条业务数据时，可以先存储起来，等所有业务数据都接收完成后再处理。而由于业务系统生成的数据量通常规模较大，后台处理系统在临时存储时可以使用高性能分布式的缓存系统(例如tair)来存储，待业务结束后完成对所有数据的接收时，再从缓存系统获取所有业务数据进行处理。

相关技术中，可以按照如下方式在后台处理系统与缓存系统之间进行数据的存储和读取：对于同一业务来说，生成的所有数据可以具有相同的key，比如数据中可以包括一个路径ID，用于唯一标识一个业务的处理路径。后台处理系统可以在缓存系统中以该key与一个List对象对应存储，该List对象包括所有的该业务的数据。每一次接收到一条新数据时，后台处理系统需要根据key由缓存系统中取出List对象，将新数据合并入该List对象后，再将该List对象存储回缓存系统。这种方式，由于业务数据越来越多，List对象越来越大，导致网络传输速度变慢，数据存取速度降低，对后台处理系统的内存占用也较大；并且，当缓存系统在数据存取中出现版本冲突时，需要重新执行一次数据的存取，而进一步降低了数据存取速度。

发明内容

有鉴于此，本申请提供一种数据存储方法和装置，以提高数据存取速度。

具体地，本申请是通过如下技术方案实现的：

第一方面，提供一种数据存储方法，所述方法用于将待存储的目标数据存储至存储系统，所述存储系统用于存储包括多个目标数据的数据集，所述多个目标数据具有相同的用于表示从属所述数据集的数据主键；该方法包括：

根据待存储的目标数据包含的数据主键，由存储系统中获取对应所述数据主键的存储标识数值，按照预设的标识更新规则，更新所述存储标识数值；

将更新后的所述存储标识数值与数据主键对应存储至所述存储系统；

当所述存储标识数值与数据主键存储成功时，根据更新后的存储标识数值以及预设的索引生成规则，计算对应本次数据存储的数据索引，并将所述数据索引与待存储的目标数据，对应存储至所述存储系统。

第二方面，提供一种数据存储装置，所述装置用于将待存储的目标数据存储至存储系统，所述存储系统用于存储包括多个目标数据的数据集，所述多个目标数据具有相同的用于表示从属所述数据集的数据主键；该装置包括：

标识更新模块，用于根据待存储的所述目标数据包含的数据主键，由存储系统中获取对应所述数据主键的存储标识数值；按照预设的标识更新规则，更新所述存储标识数值；

标识存储模块，用于将更新后的所述存储标识数值与数据主键对应存储至所述存储系统；

数据存储模块，用于当所述存储标识数值与数据主键存储成功时，根据更新后的存储标识数值以及预设的索引生成规则，计算对应本次数据存储的数据索引，并将所述数据索引与待存储的目标数据，对应存储至所述存储系统。