[发明专利]确定数据分布是否相同的方法和装置

说明书

本申请提供了一种确定数据分布是否相同的方法，包括：获取第一数据集和第二数据集；根据第一数据集和第二数据集确定N1个第一距离和N2个第二距离，第一距离为第一数据集的两批数据的分布的距离，第二距离为第一数据集的一批数据的分布和第二数据集的一批数据的分布的距离；根据N1个第一距离和N2个第二距离确定第三距离和距离分布，第三距离为N1个第一距离的分布和N2个第二距离的分布的距离，距离分布为第三数据集的两批数据的分布的距离的分布，第三数据集包括N1个第一距离和N2个第二距离；根据第三距离在距离分布中的位置确定第一数据集的分布和第二数据集的分布是否相同。该方法能够提高检测两个数据集的分布是否相同的灵敏度。

技术领域

本申请涉及人工智能领域，具体涉及一种确定数据分布是否相同的方法和装置。

背景技术

随着时间的进展，一些系统会源源不断地产生数据，这些数据可以分为两类，一类是历史数据，另一类是当前数据，其中，历史数据的产生时间早于当前数据的产生时间。为了监测系统的状态，需要根据系统产生的数据建立模型，例如，可以通过历史数据训练人工神经网络，建立监测系统的状态的人工神经网络。

模型的性能与数据的分布密切相关，若历史数据的分布与当前数据的分布相同，则利用历史数据训练的模型也适用于分析当前数据；若历史数据的分布与当前数据的分布相异，则利用历史数据训练的模型不再适用于分析当前数据，可以利用当前数据更新上述模型，以便于该模型能够基于当前数据准确确定系统的状态。因此，如何确定历史数据的分布与当前数据的分布相同是当前需要解决的问题。

发明内容

本申请提供了一种确定数据分布是否相同的方法和装置，能够确定历史数据的分布与当前数据的分布是否相同。

第一方面，提供了一种确定数据分布是否相同的方法，包括：获取第一数据集和第二数据集，所述第一数据集和所述第二数据集均为系统数据的集合；根据所述第一数据集和所述第二数据集确定N1个第一距离和N2个第二距离，所述第一距离为所述第一数据集中的两批数据的分布的距离，所述第二距离为所述第一数据集中的一批数据的分布和所述第二数据集中的一批数据的分布的距离，其中，N1为正整数，N2为大于1的正整数；或者，N1为大于1的正整数，N2为正整数；根据所述N1个第一距离和所述N2个第二距离确定第三距离，所述第三距离为所述N1个第一距离的分布和所述N2个第二距离的分布的距离，所述距离分布为第三数据集中的两批数据的分布的距离的分布，所述第三数据集为包括所述N1个第一距离和所述N2个第二距离的数据集；根据所述第三距离在距离分布中的位置确定所述第一数据集的分布和所述第二数据集的分布是否相同。

上述方法中，第一距离为来自同一数据集(第一数据集)的两批数据的分布之间的距离，第二距离为来自不同数据集(第一数据集和第二数据集)的两批数据的分布之间的距离，通过度量N1个第一距离的分布和N2个第二距离的分布的距离，能够放大N1个第一距离和N2个第二距离的差异，从而提高了检测第一数据集的分布和所述第二数据集的分布是否相同的灵敏度。

可选地，所述根据所述N1个第一距离和所述N2个第二距离确定第三距离和距离分布，包括：根据所述N1个第一距离和所述N2个第二距离确定第三数据集，所述第三数据集为所述N1个第一距离和所述N2个第二距离经过拼接处理和乱序处理后得到的数据集；根据所述第三数据集确定M个第四距离，所述第四距离为所述第三数据集中的两批数据的分布的距离，M为大于1的正整数；根据所述M个第四距离确定所述距离分布。

可选地，所述第三距离与所述距离分布的预设分位数的大小关系用于指示所述第三距离在距离分布中的位置，所述根据所述第三距离在距离分布中的位置确定所述第一数据集的分布和所述第二数据集的分布是否相同，包括：

当所述第三距离大于所述预设分位数时，确定所述第一数据集的分布和所述第二数据集的分布相异；或者，

当所述第三距离小于或等于所述预设分位数时，确定所述第一数据集的分布和所述第二数据集的分布相同。