[发明专利]一种数据的写入方法和装置

说明书

本申请公开了一种数据的写入方法和装置，涉及云计算领域。其中，该方法包括：获取数据写入任务，其中，数据写入任务用于将目标数据写入到对象存储的目标目录中；为目标数据创建写入标识，其中，写入标识用于指示目标数据不允许被操作；控制写入任务将目标数据写入对象存储的目标目录；在确定目标数据写入完成的情况下，删除写入标识。本申请解决了数据写入对象存储的效率较低的技术问题。

技术领域

本申请涉及计算机领域，尤其公开了一种数据的写入方法和装置。

背景技术

在大数据生态中，大数据组件使用系统提供的接口将数据写到文件中，对象存储是云计算大数据场景中普遍使用的一种共享存储，大数据任务使用对象存储提供的接口将数据写入到对象存储中。在大数据场景中，为提升数据写入速度，并保证任务的最终数据完整性，需要首先将计算结果等数据写入临时文件中，待所有数据写入完成后，再将所有写入的临时文件移动到最终目录下。而对象存储移动文件是非常耗时的行为，因此上述移动文件操作成为整个写数据任务的性能瓶颈。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请提供了一种数据的写入方法和装置，以至少解决相关技术中数据写入对象存储的效率较低的技术问题。

根据本申请实施例的一个方面，提供了一种数据的写入方法，包括：获取数据写入任务，其中，所述数据写入任务用于将目标数据写入到对象存储的目标目录中；为所述目标数据创建写入标识，其中，所述写入标识用于指示所述目标数据不允许被操作；控制所述写入任务将所述目标数据写入所述对象存储的所述目标目录；在确定所述目标数据写入完成的情况下，删除所述写入标识。

可选地，为所述目标数据创建写入标识包括：将所述数据写入任务拆分为多个工作单元，其中，所述多个工作单元中每个工作单元用于将所述目标数据中的子数据写入到所述目标目录中；在所述对象存储中创建所述多个工作单元中每个工作单元对应的写入标识文件，其中，所述写入标识文件用于指示所述每个工作单元对应的子数据不允许被操作。

可选地，控制所述写入任务将所述目标数据写入所述对象存储的所述目标目录包括：在所述对象存储的目标目录下创建所述每个工作单元对应的数据文件；控制所述多个工作单元并行将所述多个工作单元中每个工作单元对应的子数据写入所述每个工作单元对应的数据文件中。

可选地，在确定所述目标数据写入完成的情况下，删除所述写入标识包括：在所述多个工作单元全部完成数据写入操作的情况下，确定所述目标数据写入完成；删除所述对象存储中的多个写入标识文件。

可选地，获取所述数据写入任务包括：获取当前执行的数据计算过程，其中，所述目标数据为执行所述数据计算过程得到的数据计算结果；为所述数据计算过程生成所述数据写入任务。

可选地，在控制所述写入任务将所述目标数据写入所述对象存储的所述目标目录的过程中，所述方法还包括：接收操作指令，其中所述操作指令用于指示对所述目标数据进行目标操作；检测到所述目标数据与所述写入标识具有对应关系；响应于所述操作指令发送响应信息，其中，所述响应信息用于指示所述目标数据不可用。

根据本申请实施例的另一方面，还提供了一种数据的写入装置，包括：获取模块，用于获取数据写入任务，其中，所述数据写入任务用于将目标数据写入到对象存储的目标目录中；创建模块，用于为所述目标数据创建写入标识，其中，所述写入标识用于指示所述目标数据不允许被操作；控制模块，用于控制所述写入任务将所述目标数据写入所述对象存储的所述目标目录；删除模块，用于在确定所述目标数据写入完成的情况下，删除所述写入标识。

可选地，所述创建模块包括：拆分单元，用于将所述数据写入任务拆分为多个工作单元，其中，所述多个工作单元中每个工作单元用于将所述目标数据中的子数据写入到所述目标目录中；第一创建单元，用于在所述对象存储中创建所述多个工作单元中每个工作单元对应的写入标识文件，其中，所述写入标识文件用于指示所述每个工作单元对应的子数据不允许被操作。