[发明专利]一种数据的检查点设置方法及装置

权利要求书

1.一种数据的检查点设置方法，其特征在于，包括：

根据待传输流式数据，获取所述待传输流式数据的各缓存块；所述各缓存块中任一缓存块包括缓存数据和所述缓存数据在所述待传输流式数据中的归属信息；其中，任一缓存块的归属信息包括该缓存块所属的流式数据的标识及偏移量，表示所述缓存数据在所述待传输流式数据中的位置信息；所述待传输流式数据分布在所述各缓存块的缓存数据中；

传输所述各缓存块，并在所述各缓存块的传输过程中，记录所述各缓存块的归属信息，作为所述待传输流式数据的检查点记录信息，从而设置所述待传输流式数据的检查点。

2.如权利要求1所述的方法，其特征在于，所述根据待传输流式数据，获取所述待传输流式数据的各缓存块之前，还包括：

获取所述待传输流式数据的各子流式数据的来源信息；所述各子流式数据的来源信息包括该子流式数据的标识及偏移量；

根据所述各子流式数据的来源信息和历史检查点记录信息，确定所述待传输流式数据中来源信息已在所述历史检查点记录信息记录的流式数据的末尾位置，作为所述待传输流式数据的初始传输位置；所述历史检查点记录信息记录了已传输的历史缓存块的归属信息。

3.如权利要求2所述的方法，其特征在于，所述根据待传输流式数据，获取所述待传输流式数据的各缓存块；包括：

将所述待传输流式数据中从所述初始传输位置开始之后的数据，拆分为所述各缓存块的缓存数据；

根据所述各缓存块的缓存数据的所属子流式数据的来源信息及缓存数据的大小，确定所述各缓存块的归属信息。

4.如权利要求1至3任一所述的方法，其特征在于，所述传输所述各缓存块之后，还包括：

针对所述各缓存块中任一缓存块的归属信息，生成所述缓存块的数据记录；

将所述各缓存块的数据记录存储至目标数据库。

5.如权利要求4所述的方法，其特征在于，所述各缓存块中任一缓存块的数据记录还包括该缓存块的缓存数据的大小；所述方法还包括：

基于所述各缓存块的数据记录，生成所述各缓存块的数据记录的各存储索引信息；所述索引信息用于索引所述各缓存块的数据记录在所述目标数据库的存储位置。

6.如权利要求1至3任一所述的方法，其特征在于，所述根据待传输流式数据，获取所述待传输流式数据的各缓存块之前；还包括：

通过调用统一输入流接口，获取所述待传输流式数据；所述统一输入流接口实现了标准输入流的统一规范，所述统一输入流接口与多种数据源类型适配；

所述传输所述各缓存块；包括：

将所述各缓存块写入管道缓冲区；所述传输所述各缓存块是基于管道缓冲区的读写机制以及统一输出流接口实现的；

通过调用统一输出流接口，将所述各缓存块从所述管道缓冲区读出；所述统一输出流接口实现了标准输出流的统一规范，所述统一输出流接口与多种数据源类型适配。

7.如权利要求1至3任一所述的方法，其特征在于，所述各缓存块的大小是根据网络传输速率设置的；所述各缓存块的大小与网络传输速率呈正相关。

8.一种数据的检查点设置装置，其特征在于，包括：

获取模块，用于根据待传输流式数据，获取所述待传输流式数据的各缓存块；所述各缓存块中任一缓存块包括缓存数据和所述缓存数据在所述待传输流式数据中的归属信息；其中，任一缓存块的归属信息包括该缓存块所属的流式数据的标识及偏移量，表示所述缓存数据在所述待传输流式数据中的位置信息；所述待传输流式数据分布在所述各缓存块的缓存数据中；

设置模块，用于传输所述各缓存块，并在所述各缓存块的传输过程中，记录所述各缓存块的归属信息，作为所述待传输流式数据的检查点记录信息，从而设置所述待传输流式数据的检查点。

9.一种计算机设备，其特征在于，包括：

存储器，用于存储程序或指令；

处理器，用于调用所述存储器中存储的程序或指令，按照获得的程序或指令执行权利要求1至7中任意一项所述的方法。

10.一种存储介质，其特征在于，包括程序或指令，当所述程序或指令被执行时，如权利要求1至7中任意一项所述的方法被执行。