[发明专利]数据流通中的数据监控方法及装置、存储介质、服务器

权利要求书

1.一种数据流通中的数据监控方法，其特征在于，包括：

接收多个需方各自的数据，所述数据包括数据标识；

对所述多个需方的全部数据标识进行统计，以得到总查询数据量；

对所述多个需方的全部数据标识中的重复数据标识进行滤除，以得到去重后数据标识；

对所述去重后数据标识进行统计，以得到去重后查询数据量；

根据所述总查询数据量和去重后查询数据量，判断数据是否存在异常。

2.根据权利要求1所述的数据监控方法，其特征在于，所述对所述去重后数据标识进行统计包括：

对于所述多个需方中的每一需方，统计所述需方去重后的数据标识的数据量；

统计所述需方的数据重复率，所述数据重复率等于所述需方的去重数据数量与所述需方去重前的数据标识的数据量之比，所述需方的去重数据数量等于所述需方去重前的数据标识的数据量与所述需方去重后的数据标识的数据量之差。

3.根据权利要求1所述的数据监控方法，其特征在于，在对所述多个需方的全部数据标识中的重复数据标识进行滤除之前，所述数据监控方法还包括：

对于所述多个需方中的任意两个需方，统计所述任意两个需方的数据重复数量，所述数据重复数量等于所述任意两个需方之间去重后的数据标识的交集的数据量，每一所述需方的去重后的数据标识是对该需方的全部数据标识中的相同数据标识进行滤除得到的。

4.根据权利要求1所述的数据监控方法，其特征在于，还包括：

向供方发送所述去重后数据标识，并接收所述供方返回的数据查询结果；

对所述数据查询结果进行统计，并计算各个所述需方的数据匹配率，所述数据匹配率等于每一所述需方的数据查询结果的数据量与该需方去重后的数据标识的数据量之比，每一所述需方的去重后的数据标识是对该需方的全部数据标识中的相同数据标识进行滤除得到的；

其中，所述需方的数据查询结果是对所述供方返回的数据查询结果进行拆分、整合得到的。

5.根据权利要求4所述的数据监控方法，其特征在于，所述数据标识关联的数据查询结果具有预设业务规则，所述数据监控方法还包括：

从所述供方返回的数据查询结果中，选取不满足所述预设业务规则的数据查询结果，以得到选取后数据；

统计所述选取后数据的数据量。

6.根据权利要求4所述的数据监控方法，其特征在于，还包括：

在对接收到的多个需方的全部数据标识进行统计之前，将所述多个需方的全部数据标识存储于数据仓库中；和/或，

在接收所述供方返回的数据查询结果之后，将所述供方返回的数据查询结果存储于数据仓库中。

7.根据权利要求1所述的数据监控方法，其特征在于，所述对所述去重后数据标识进行统计包括：

采用计算引擎Spark对所述去重后数据标识进行统计。

8.根据权利要求1至7任一项所述的数据监控方法，其特征在于，还包括：

将各个统计结果记录在Cassandra数据库。

9.一种数据流通中的数据监控装置，其特征在于，包括：

接收模块，用于接收多个需方各自的数据，所述数据包括数据标识；

第一统计模块，用于对所述多个需方的全部数据标识进行统计，以得到总查询数据量；

去重模块，用于对所述多个需方的全部数据标识中的重复数据标识进行滤除，以得到去重后数据标识；

第二统计模块，用于对所述去重后数据标识进行统计，以得到去重后查询数据量；

判断模块，用于根据所述总查询数据量和去重后查询数据量，判断数据是否存在异常。

10.一种存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至8任一项所述的方法的步骤。

11.一种服务器，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至8中任一项所述的方法的步骤。