[发明专利]数据集处理方法、装置、计算机设备及存储介质

说明书

本发明公开了一种数据集处理的数据集处理方法、装置、计算机设备及存储介质，该数据集处理方法包括：遍历每一区域数据表并保存到内存，区域数据表包括至少一组成员记录，成员记录包括成员ID、直接上级ID和至少一个成员属性，将成员ID和至少一个成员属性形成一个叶节点；基于基于区域数据表和层级差，获取指定的成员ID作为目标ID，建立层级关系树；统计层级关系树中指定节点对应的至少一个成员属性，其中，指定节点对应的至少一个成员属性由属于指定节点的每一叶节点对应的成员属性构成。该数据集处理方法无需频繁地磁盘I/O操作，自动完成各个区域数据表的数据整合，提高数据采集和处理的速度。

技术领域

本发明涉及数据采集领域，尤其涉及一种数据集处理方法、装置、计算机设备及存储介质。

背景技术

现有各种组织之间可以按照层级划分建模为多叉树的遍历关系。而当统计各种组织相关的结构化数据时计算时间复杂度至少为mⁿ，其中m是叶节点的数量，n是层级数。尤其对于跨省或跨国的大型组织，由于层级数大，即使能获取大型组织的多个数据库，难以统计层级关系和与层级关系相关的数据，包括各个组织的资产，人员和职位等。如何统计散列组织中的人员关系及相关数据成为亟待解决的问题。

发明内容

本发明实施例提供一种数据集处理的数据集处理方法、装置、计算机设备及存储介质，以解决统计散列组织中的人员关系及相关数据的问题。

一种数据集处理方法，包括：

遍历每一区域数据表并保存到内存，区域数据表包括至少一组成员记录，成员记录包括成员ID、直接上级ID和至少一个成员属性，将成员ID和至少一个成员属性形成一个叶节点；

基于基于区域数据表和层级差，获取指定的成员ID作为目标ID，建立层级关系树，层级关系树包括目标ID对应的根节点和与根节点直接关联或间接关联的至少一个叶节点，其中，根节点和叶节点之间的节点形成子节点；

统计层级关系树中指定节点对应的至少一个成员属性，其中，指定节点对应的至少一个成员属性由属于指定节点的每一叶节点对应的成员属性构成。

一种数据集处理装置，包括：

遍历数据表模块，用于遍历每一区域数据表并保存到内存，区域数据表包括至少一组成员记录，成员记录包括成员ID、直接上级ID和至少一个成员属性，将成员ID和至少一个成员属性形成一个叶节点；

获取目标ID模块，用于基于基于区域数据表和层级差，获取指定的成员ID作为目标ID，建立层级关系树，层级关系树包括目标ID对应的根节点和与根节点直接关联或间接关联的至少一个叶节点，其中，根节点和叶节点之间的节点形成子节点；

统计成员属性模块，用于统计层级关系树中指定节点对应的至少一个成员属性，其中，指定节点对应的至少一个成员属性由属于指定节点的每一叶节点对应的成员属性构成。

上述数据集处理方法、装置、计算机设备及存储介质，通过遍历每一区域数据表并保存到内存后形成层级关系树，可基于该层级关系树统计指定节点对应的至少一个成员属性，无需频繁地磁盘I/O操作，避免人员手工统计各个散列的区域数据表来获取成员属性，自动完成各个区域数据表的数据整合，快速获取需要的统计结果，降低计算复杂度，提高数据采集和处理的速度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中数据集处理方法的应用环境示意图；

图2是本发明一实施例中数据集处理方法的流程图；

图3是本发明一实施例中数据集处理方法的另一流程图；