[发明专利]文件处理方法、装置及系统

说明书

本公开提供了一种文件处理方法。所述方法包括：获取待处理的文件，其中，所述文件包括多条记录，每条记录包括多个字段；以及基于所述多个字段中最不重复的至少一组字段，按照文件分割数量分割所述文件，以确定所述文件中的每条记录所属的分区，其中，所述分区对应的计算系统处理所述分区对应的记录，不同分区对应的计算系统不同。本公开还提供了一种文件处理装置、以及文件处理系统。

技术领域

本公开涉及一种文件处理方法、装置及系统。

背景技术

Hadoop等分布式文件系统进行文件处理时通常需要将目标文件切分为多个块，对多个块并行处理并在并行处理完成之后将多个块的执行结果进行汇总处理，以此方式提高文件的处理效率。这样，在一定程度上分布式系统的执行时间取决于任务执行时间最长的块的执行时间。因此如何合理的切分目标文件，是分布式系统运行的关键因素之一。

发明内容

本公开的一个方面提供了文件处理方法。所述方法包括：获取待处理的文件，所述文件包括多条记录，每条记录包括多个字段；以及基于所述多个字段中最不重复的至少一组字段，按照文件分割数量分割所述文件，以确定所述文件中的每条记录所属的分区，其中，所述分区对应的计算系统处理所述分区对应的记录，不同分区对应的计算系统不同。

根据本分开的实施例，所述方法还包括基于每个字段的自重复率以及不同字段之间的相似性，确定所述最不重复的至少一组字段。

根据本分开的实施例，所述方法还包括以记录作为维度对所述文件进行随机抽样，得到抽样样本文件。所述基于每个字段的自重复率以及不同字段之间的相似性，确定所述最不重复的至少一组字段，包括在所述抽样样本文件中，基于每个字段的自重复率以及不同字段之间的相似性，确定所述最不重复的至少一组字段。

根据本公开的实施例，基于每个字段的自重复率以及不同字段之间的相似性，确定所述最不重复的至少一组字段，包括从所述多个字段中筛选出自重复率最低的至少两个字段，得到一组候选字段，以及从所述一组候选字段中筛选出相似性满足预设要求的至少一组字段，得到所述最不重复的至少一组字段。

根据本公开的实施例，所述自重复率包括在每个字段的取值集合中重复的元素个数与集合的元素总个数之比，其中所述每个字段的取值集合为该字段在不同记录中的取值的集合。所述相似性包括两个字段对应的向量之间的相似性，其中，每个字段对应的向量为该字段在所述不同记录中的取值组合形成。

根据本公开的实施例，从所述一组候选字段中筛选出相似性满足预设要求的至少一组字段，得到所述最不重复的至少一组字段，包括对于所述一组候选字段中的任意两个候选字段，当所述两个候选字段对应的向量的相似性小于区分度阈值时，筛选出所述两个候选字段，或者当所述两个候选字段对应的向量的相似性大于所述区分度阈值时，筛选出所述两个候选字段的其中之一。

根据本公开的实施例，所述基于所述多个字段中最不重复的至少一组字段，按照文件分割数量分割所述文件，以确定所述文件中的每条记录所属的分区，包括对于每条记录，对所述最不重复的至少一组字段按照预定规则进行组合运算，得到组合运算结果，以及将所述每条记录映射到与所述组合运算结果对应的分区。

本公开的另一方面还提供了一种文件处理装置。所述装置包括文件获取模块、和文件分割模块。文件获取模块用于获取待处理的文件，所述文件包括多条记录，每条记录包括多个字段。文件分割模块用于基于所述多个字段中最不重复的至少一组字段，按照文件分割数量分割所述文件，以确定所述文件中的每条记录所属的分区，其中，所述分区对应的计算系统处理所述分区对应的记录，不同分区对应的计算系统不同。

根据本公开的实施例，所述装置还包括字段确定模块。字段确定模块用于基于每个字段的自重复率以及不同字段之间的相似性，确定所述最不重复的至少一组字段。