[发明专利]关系发现的分布式计算方法和系统、计算机可读存储介质

说明书

本申请公开了一种关系发现的分布式计算方法和系统、计算机可读存储介质，所述方法包括：将事件数据分别同步至多台分布式主机；按照预设的任务分配方式，在所述分布式主机上分别执行一个或多个关系发现的任务，以发现所述事件数据中的隐性关系，所述预设的任务分配方式包括以下至少之一：任务类型、事件类型、事件发生的时间。本申请通过按照以下至少之一：任务类型、事件类型、事件发生的时间，在多台分布式主机上分别执行一个或多个关系发现的任务，减少了关系发现的时间，提高了关系发现的计算效率。

技术领域

本申请涉及但不限于数据挖掘技术领域，尤其涉及一种关系发现的分布式计算方法和系统、计算机可读存储介质。

背景技术

公安领域中基于事件数据的挖掘定义了一类关系，该类关系旨在通过分析、挖掘、推理的方式找到实体之间的关系，所以该类关系称为隐性关系。当前隐性关系的发现主要依赖事件数据，比如火车出行、上网和旅店住宿等数据。此类隐性关系把每次事件数据定义为一次活动，在每次相同的活动中多个实体之间的关系被定义为结伴，基于常识和经验假设多次活动就表现为具有“伙伴”关系。

现有的关系发现方法通常通过单台服务器实现，但是，在关系规则较多的情况下，这种关系发现方法通常比较耗时，计算效率通常比较低下。

发明内容

本发明实施例提供了一种关系发现的分布式计算方法和系统、计算机可读存储介质，能够提高关系发现的计算效率。

本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种关系发现的分布式计算方法，包括：

将事件数据分别同步至多台分布式主机；

按照预设的任务分配方式，在所述分布式主机上分别执行一个或多个关系发现的任务，以发现所述事件数据中的隐性关系，所述预设的任务分配方式包括以下至少之一：任务类型、事件类型、事件发生的时间。

在一实施例中，所述将事件数据分别同步至多台分布式主机，包括：

将所述事件数据整体分别同步至多台所述分布式主机；或者，

按照以下至少之一：所述事件类型、所述事件发生的时间，选择所述事件数据并将选择的事件数据同步至多台所述分布式主机。

在一实施例中，所述任务类型包括以下至少之一：数据编码、构建索引、第一数据同步、关系计算、第二数据同步、关系计算结果查询，其中，所述数据编码是指提取所述事件数据中关系计算所必需的字段并对其进行编码；所述构建索引是指对所述编码后的数据进行分组，同组数据添加相同索引值；所述第一数据同步是指将编码后的事件数据和/或构建索引后的事件数据同步至所述分布式主机；所述第二数据同步是指将所述分布式主机得到的关系计算结果同步至用于提供结果查询的结果主机。

在一实施例中，所述方法之前还包括：对所述事件数据进行数据编码和构建索引，其中，所述数据编码是指提取所述事件数据中关系计算所必需的字段并对其进行编码；所述构建索引是指对所述编码后的数据进行分组，同组数据添加相同索引值；

所述任务类型包括以下至少之一：关系计算、第二数据同步、关系计算结果查询，所述第二数据同步是指将所述分布式主机得到的关系计算结果同步至用于提供结果查询的结果主机。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如以上任一项所述的关系发现的分布式计算方法的步骤。

本发明实施例还提供了一种关系发现的分布式计算系统，包括处理器及存储器，其中：所述处理器用于执行存储器中存储的程序，以实现如以上任一项所述的关系发现的分布式计算方法的步骤。