[发明专利]一种检测噪音数据的方法及装置

说明书

技术领域

本申请涉及数据处理领域，特别是涉及一种检测噪音数据的方法，以及一种检测噪音数据的装置。

背景技术

统计机器学习是利用训练数据，通过计算得到模型，也即是训练模型的一种方法，然后用模型去做预测。本质上是通过已知的数据，经过统计分析和计算，产生模型，去预测未知的情况。

类似统计机器学习的方法需要有较多的准确的训练数据，利用这些训练数据对模型进行建模，为了保证效果，训练数据是人工标注的。由于人工标注的不准确，使得训练数据容易产生部分不准确或是与实际不一致的数据，即噪音数据，从而影响数据的使用，所以需要去除训练数据中的噪音。

现有技术中，采用人工复核去除训练数据中的噪音，对训练数据进行多次人工标注，从而订正可能的错误和偏差，去除训练数据中的噪音数据。

以上现有技术中存在的问题是，由于一般情况下训练数据较多，人工复核时要针对所有的训练数据一条条进行复核，时间较长，人工成本太大。

因此，目前需要本领域技术人员解决的一个技术问题就是，提供一种检测噪音数据的方法，以减少人工复核的工作量，节约时间成本和人力成本。

发明内容

本申请所要解决的技术问题是提供一种检测噪音数据的方法，用以减少人工复核的工作量，节约时间成本和人力成本。

本申请还提供了一种检测噪音数据的装置，用以保证上述方法在实际中的应用及实现。

为了解决上述问题，本申请公开了一种检测噪音数据的方法，包括：

基于训练数据的特征信息和实际标注信息建立预测模型；

依据所述预测模型对训练数据的实际标注信息进行预测，获得对应的预测标注信息；

提取实际标注信息与预测标注信息不一致的训练数据，作为噪音数据。

优选地，所述训练数据包括所有待检测的训练数据。

优选地，所述训练数据不包括所有待检测的训练数据，在基于训练数据的特征信息和实际标注信息建立预测模型的步骤之前，还包括：

将待检测的训练数据划分为N份，其中，N为大于1的正整数。

优选地，所述基于训练数据的特征信息和实际标注信息建立预测模型的步骤为，依次提取N份中的N-1份待检测的训练数据，并基于所述N-1份待检测的训练数据的特征信息和实际标注信息建立预测模型；

所述依据预测模型对训练数据的实际标注信息进行预测，获得对应的预测标注信息的步骤为：

分别依据所述预测模型对剩余的一份待检测的训练数据的实际标注信息进行预测，获得对应的预测标注信息，所述预测标注信息包括N份待检测的训练数据所对应的预测标注信息。

优选地，所述预测模型包括通过对各个训练数据的特征信息和标注信息进行统计后，获取的不同特征信息对应的各种标注信息的统计值。

优选地，所述依据预测模型对训练数据的实际标注信息进行预测，获得对应的预测标注信息的步骤包括：

由预测模型所包含的不同特征信息对应的各种标注信息的统计值，以及训练数据的特征信息，对训练数据的实际标注信息进行预测，获得对应的预测标注信息。

优选地，所述方法还包括：

对所述噪音数据进行复核。

本申请还提供了一种检测噪音数据的装置，包括：

预测模型建立模块，用于基于训练数据的特征信息和实际标注信息建立预测模型；

预测模块，用于依据所述预测模型对训练数据的实际标注信息进行预测，获得对应的预测标注信息；

噪音数据提取模块，用于提取实际标注信息与预测标注信息不一致的训练数据，作为噪音数据。

优选地，所述训练数据包括所有待检测的训练数据。

优选地，所述训练数据不包括所有待检测的训练数据，在预测模型建立模块之前，还包括：

训练数据划分模块，用于将待检测训练数据划分为N份，其中，N为大于1的正整数。

与现有技术相比，本申请具有以下优点：

本申请依据训练数据建立的预测模型对训练数据的标注信息进行预测，将预测标注信息与原标注信息不一致的训练数据，作为噪音数据。依据本申请的方法可以直接对噪音数据进行复核，以达到去除噪音数据的目的。相比于现有技术对所有的训练数据进行复核以去除噪音数据的方式，本申请大大减少了复核的工作量，节约了时间成本和人力成本。

附图说明

图1是本申请的一种检测噪音数据的方法实施例1的流程图；

图2是本申请的一种检测噪音数据的方法实施例2的流程图；