[发明专利]一种数据的检查点设置方法及装置

说明书

本发明公开了一种数据的检查点设置方法及装置，其中方法为：根据待传输流式数据，获取所述待传输流式数据的各缓存块；所述各缓存块中任一缓存块包括缓存数据和所述缓存数据在所述待传输流式数据中的归属信息；传输所述各缓存块，并在所述各缓存块的传输过程中，记录所述各缓存块的归属信息，作为所述待传输流式数据的检查点记录信息，从而设置所述待传输流式数据的检查点。上述方法应用于金融科技(Fintech)时，可以将所述待传输流式数据化整为零，更细粒度地设置所述待传输流式数据的检查点，从而更加及时地对同步传输的数据实现CheckPoint机制。

技术领域

本发明涉及金融科技(Fintech)领域中的数据交换领域，尤其涉及一种数据的检查点设置方法及装置。

背景技术

随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出的更高的要求。金融机构运转业务时，经常涉及到流式数据的同步传输。为了应对系统突然出现的故障，记录系统的状态，常需要对传输的流式数据做检查点(CheckPoint)机制，即记录已传输流式数据的状态，从而在必要的时机进行恢复。

然而，目前CheckPoint机制的通常做法均是将流式数据反序列化成规范的数据记录，再去做记录传输，而且是在整个数据传输任务完成后才去做记录，显然这种做法相对数据传输过程总是滞后的，且CheckPoint机制的粒度是传输任务，因此，目前方法不能及时对同步传输的数据实现CheckPoint机制，这是一个亟待解决的问题。

发明内容

本发明提供一种数据的检查点设置方法及装置，解决了现有技术中不能及时对同步传输的数据实现CheckPoint机制的问题。

第一方面，本发明提供一种数据的检查点设置方法，包括：根据待传输流式数据，获取所述待传输流式数据的各缓存块；所述各缓存块中任一缓存块包括缓存数据和所述缓存数据在所述待传输流式数据中的归属信息；其中，任一缓存块的归属信息包括该缓存块所属的流式数据的标识及偏移量；所述待传输流式数据分布在所述各缓存块的缓存数据中；传输所述各缓存块，并在所述各缓存块的传输过程中，记录所述各缓存块的归属信息，作为所述待传输流式数据的检查点记录信息，从而设置所述待传输流式数据的检查点。

上述方法中，获取了待传输流式数据后，并不是直接传输，而是根据待传输流式数据，先获取所述待传输流式数据的各缓存块，由于所述待传输流式数据分布在所述各缓存块的缓存数据中，也就是说，待传输流式数据实际上是拆分成了在多个缓存块中的缓存数据，而所述各缓存块中的归属信息还包括该缓存块所属的流式数据及偏移量，因此能在确定缓存块中缓存数据归属信息的基础上，可以将所述待传输流式数据化整为零，并且在所述各缓存块的传输过程中，便记录所述各缓存块的归属信息，更细粒度地设置所述待传输流式数据的检查点，从而更加及时地对同步传输的数据实现CheckPoint机制。

可选的，所述根据待传输流式数据，获取所述待传输流式数据的各缓存块之前，还包括：获取所述待传输流式数据的各子流式数据的来源信息；所述各子流式数据的来源信息包括该子流式数据的标识及偏移量；根据所述各子流式数据的来源信息和历史检查点记录信息，确定所述待传输流式数据中来源信息已在所述历史检查点记录信息记录的流式数据的末尾位置，作为所述待传输流式数据的初始传输位置；所述历史检查点记录信息记录了已传输的历史缓存块的归属信息。

上述方法中，在根据待传输流式数据，获取所述待传输流式数据的各缓存块之前，先根据所述各子流式数据的来源信息和历史检查点记录信息，确定已在所述历史检查点记录信息记录的流式数据的末尾位置，从而找到之前传输过的数据位置，作为所述待传输流式数据的初始传输位置，从而避免了冗余传输数据，提升了数据传输的效率。