[发明专利]基于外部数据文件的任务存储方法及装置

说明书

本发明公开了一种基于外部数据文件的任务存储方法及装置。其中，该方法包括：获取待存储的任务集合，其中，任务集合包括：多个任务数据，以及每个任务数据对应的类型信息和分区信息；根据每个任务数据对应的类型信息和分区信息，从预先配置的外部数据文件中读取每个任务数据相应的存储位置，其中，外部数据文件用于存储每个类型信息，每个分区信息以及每个存储位置的对应关系；将任务集合中的每个任务数据分别存储到每个任务数据相应的存储位置。本发明解决了现有技术中任务数据存储在分布式数据库中，无法一次性查找到所有任务数据，导致任务数据查询速度慢的技术问题。

技术领域

本发明涉及通信领域，具体而言，涉及一种基于外部数据文件的任务存储方法及装置。

背景技术

现有技术中，针对多个用户，做数据分析时，一个用户可能对应一个profile(用户配置文件)，或是一堆profile(数据分析的相应网站唯一字段)。用户既希望在查看单网站数据时能获得很高的分析能力，又希望能将所有profile数据放在一起，来查看整个站群的相关数据，这就发生了一个矛盾，将所有数据放在同一个数据库里，会导致在查询单网站时，由于有其它站群网站的数据干扰，影响了查询速度。

针对现有技术中任务数据存储在分布式数据库中，无法一次性查找到所有任务数据，导致任务数据查询速度慢的技术问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种基于外部数据文件的任务存储方法及装置，以至少解决现有技术中任务数据存储在分布式数据库中，无法一次性查找到所有任务数据，导致任务数据查询速度慢的技术问题。

根据本发明实施例的一个方面，提供了一种基于外部数据文件的任务存储方法，包括：获取待存储的任务集合，其中，任务集合包括：多个任务数据，以及每个任务数据对应的类型信息和分区信息；根据每个任务数据对应的类型信息和分区信息，从预先配置的外部数据文件中读取每个任务数据相应的存储位置；将任务集合中的每个任务数据分别存储到每个任务数据相应的存储位置。

进一步地，在根据每个任务数据对应的类型信息和分区信息，从预先配置的外部数据文件中读取每个任务数据相应的存储位置之前，方法还包括：构建用于存储待存储的任务集合的数据库，其中，数据库包含多张数据表；根据预设分区条件，将数据库中的多张数据表进行划分，得到多个存储位置；将预设分区条件和多个存储位置的对应关系保存在预先配置的外部数据文件中。

进一步地，预设分区条件包括：分区条件，其中，根据预设分区条件，将数据库中的多张数据表进行划分，得到多个存储位置包括：将数据库中包含的多张数据表按照分区条件划分为多个存储位置。

进一步地，预设分区条件包括：新增分区条件和分区条件，其中，根据预设分区条件，将数据库中的多张数据表进行划分，得到多个存储位置包括：将数据库中包含的多张数据表按照新增分区条件划分为多个存储分区；将多个存储分区中每个存储分区按照分区条件划分为多个存储位置。

进一步地，在将任务集合中的每个任务数据分别存储到每个任务数据相应的存储位置之后，方法还包括：在进行数据查询的过程中，获取输入的查询条件集合，其中，查询条件集合包括：多个查询条件，以及每个查询条件包含的查询类型信息和查询分区信息；在每个查询条件包含的查询类型信息相同的情况下，根据每个查询条件包含的查询分区信息，从预先配置的外部数据文件中读取每个查询条件相应的存储位置；从每个查询条件相应的存储位置中读取多个查询条件的数据信息。

进一步地，在每个查询条件包含的查询类型信息不同的情况下，方法还包括：根据每个查询条件包含的查询类型信息和查询分区信息，从预先配置的外部数据文件中读取每个查询条件相应的存储位置；从每个查询条件相应的存储位置中读取多个查询条件的数据信息。