[发明专利]人员关系分析方法、装置、电子设备及存储介质

权利要求书

1.一种人员关系分析方法，其特征在于，应用于配置有Spark计算引擎的分布式计算系统，所述方法包括：

获取待分析的数据集，所述待分析的数据集包含多个待分析人员的出行数据；

调用所述Spark计算引擎对所述待分析的数据集进行计算，获得所述多个待分析人员之间的人际关系数据。

2.根据权利要求1所述的人员关系分析方法，其特征在于，所述分布式计算系统包括主计算节点和多个从计算节点；所述调用所述Spark计算引擎对所述待分析的数据集进行计算，获得所述多个待分析人员之间的人际关系数据的步骤，包括：

针对每个从计算节点，对获取到的子数据集进行Map运算，获得对应的第一键值对数据，所述子数据集经由所述待分析的数据集分割获得；

将所述第一键值对数据进行分组获得第二键值对数据，使得相同键值的第一键值对数据归为一类；

将所述第二键值对数据发送给所述主计算节点；

所述主计算节点将获取自各从计算节点的第二键值对数据进行分组获得第三键值对数据；

所述主计算节点根据用户选取的算法模型对所述第三键值对数据进行分析，获得所述多个待分析人员之间的人际关系数据。

3.根据权利要求2所述的人员关系分析方法，其特征在于，所述从计算节点的内存中分配预设大小的数组空间，所述数组空间用于存储将所述第一键值对数据进行分组的过程中的中间结果。

4.根据权利要求1所述的人员关系分析方法，其特征在于，所述获取待分析的数据集的步骤，包括：

获取用户配置的数据索引信息；

根据所述数据索引信息从数据源获取所述待分析的数据集。

5.根据权利要求4所述的人员关系分析方法，其特征在于，所述数据源包括非结构化存储的文本数据。

6.根据权利要求4所述的人员关系分析方法，其特征在于，所述数据索引信息包括位置索引信息以及筛选条件，所述根据所述数据索引信息从数据源获取所述待分析的数据集的步骤包括：

根据所述位置索引信息从所述数据源获取待筛选数据；

根据所述筛选条件对所述待筛选数据进行清洗获得所述待分析的数据集。

7.根据权利要求6所述的人员关系分析方法，其特征在于，所述分布式计算系统包括分布式文件系统HDFS以及数据仓库工具Hive，所述待筛选数据存储在所述HDFS中，所述Hive存储有所述待筛选数据的索引表；

所述根据所述筛选条件对所述待筛选数据进行清洗获得所述待分析的数据集的步骤包括：

根据所述筛选条件生成对应的构化查询语言SQL；

通过所述Hive解析所述SQL，对所述HDFS中的待筛选数据进行筛选，获得所述待分析的数据集。

8.一种人员关系分析装置，其特征在于，应用于配置有Spark计算引擎的分布式计算系统，所述人员关系分析装置包括数据获取模块以及关系计算模块；

所述数据获取模块用于获取待分析的数据集，所述待分析的数据集包含多个待分析人员的出行数据；

所述关系计算模块用于调用所述Spark计算引擎对所述待分析的数据集进行计算，获得所述多个待分析人员之间的人际关系数据。

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述电子设备执行所述机器可执行指令时，实现如权利要求1-7中任一项所述的人员关系分析方法。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的人员关系分析方法。