[发明专利]数据处理方法和装置

说明书

本公开的实施例公开了数据处理方法和装置。该方法的一具体实施方式包括：获取目标数据信息集合；对于目标数据信息集合中的、当前状态信息所指示的状态为待处理状态的数据信息，从该数据信息中的源存储位置信息所指示的源存储位置读取数据，将读取的数据存入目标存储位置信息所指示的目标存储位置，以及将该数据信息的当前状态信息更新为表征已存储状态的信息；对于目标数据信息集合中的、当前状态信息所指示的状态为已存储状态的数据信息，响应于确定该数据信息的源存储位置信息和目标存储位置信息所指示的位置所存储的数据相同，将该数据信息的当前状态信息更新为表征已完成状态的信息。该实施方式实现了将数据从源存储位置存入目标存储位置。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及数据处理方法和装置。

背景技术

随着互联网技术的快速发展，每时每刻都会生成大量的数据。这些海量数据，尤其是基础数据，一般存储在分布式的数据库中。当需要对这些数据的某些数据或某些维度进行查看时，需要对这些数据进行查询。但由于数据库自身性能的问题，存储海量数据的数据库有些不支持实时查询。因此需要根据需要，将部分数据导入支持实时查询的查询引擎或平台中。

发明内容

本公开的实施例提出了数据处理方法和装置。

第一方面，本公开的实施例提供了一种数据处理方法，该方法包括：获取目标数据信息集合，数据信息包括源存储位置信息、目标存储位置信息和当前状态信息；对于目标数据信息集合中的、当前状态信息所指示的状态为待处理状态的数据信息，从该数据信息中的源存储位置信息所指示的源存储位置读取数据，将读取的数据存入目标存储位置信息所指示的目标存储位置，以及将该数据信息的当前状态信息更新为表征已存储状态的信息；对于目标数据信息集合中的、当前状态信息所指示的状态为已存储状态的数据信息，响应于确定该数据信息的源存储位置信息和目标存储位置信息所指示的位置所存储的数据相同，将该数据信息的当前状态信息更新为表征已完成状态的信息。

在一些实施例中，数据信息还包括：优先级别信息。

在一些实施例中，该方法还包括：响应于确定源存储位置信息和目标存储位置信息所指示的位置所存储的数据不相同，在预设的时间点，推送用于表征源存储位置信息和目标存储位置信息所指示的位置所存储的数据不相同的提示信息。

在一些实施例中，方法还包括：响应于确定目标数据信息集合中的各个数据信息的当前状态信息所指示的状态为已完成状态，推送用于表征目标数据信息集合中的各个数据信息已处理完成的提示信息。

在一些实施例中，对于目标数据信息集合中的、当前状态信息所指示的状态为待处理状态的数据信息，从该数据信息中的源存储位置信息所指示的源存储位置读取数据，将读取的数据存入目标存储位置信息所指示的目标存储位置，以及将该数据信息的当前状态信息更新为表征已存储状态的信息，包括：按照优先级别由高到底的顺序，从目标数据信息集合中选取当前状态信息所指示的状态为待处理状态的数据信息，执行如下处理步骤：从该数据信息中的源存储位置信息所指示的源存储位置读取数据，将读取的数据存入目标存储位置信息所指示的目标存储位置，以及将该数据信息的当前状态信息更新为表征已存储状态的信息。

第二方面，本公开的实施例提供了一种数据处理装置，该装置包括：获取单元，被配置成获取目标数据信息集合，数据信息包括源存储位置信息、目标存储位置信息和当前状态信息；存储单元，被配置成对于目标数据信息集合中的、当前状态信息所指示的状态为待处理状态的数据信息，从该数据信息中的源存储位置信息所指示的源存储位置读取数据，将读取的数据存入目标存储位置信息所指示的目标存储位置，以及将该数据信息的当前状态信息更新为表征已存储状态的信息；更新单元，被配置成对于目标数据信息集合中的、当前状态信息所指示的状态为已存储状态的数据信息，响应于确定该数据信息的源存储位置信息和目标存储位置信息所指示的位置所存储的数据相同，将该数据信息的当前状态信息更新为表征已完成状态的信息。

在一些实施例中，数据信息还包括：优先级别信息。