[发明专利]一种远程监督数据集去噪方法

权利要求书

1.一种远程监督数据集去噪方法，其特征在于，包括如下步骤：

S1、获取远程监督数据集并将所获取的数据按照是否有标签分为正样本集和假负样本集；

S2、利用基于模式的数据抽取方法提取步骤S1得到的正样本集中的数据，得到高质量正样本数据；

S3、利用步骤S2提取的高质量正样本数据集和步骤S1获取的假负样本集中的数据共同作为高质量负样本筛选网络的训练数据进行训练得到高质量负样本集；

S4、将步骤S3中识别出的高质量负样本集和步骤S1得到的正样本集数据共同作为去噪模型的训练数据集并进行去噪模型训练，得到正确标注的正样本数据。

2.根据权利要求1所述的一种远程监督数据集去噪方法，其特征在于，所述步骤S2具体包括：

S21、任意选择正样本集中两个实体句子之间所包含的模式词m_i；

S22、判断步骤S21选择的词m_i是否在模式pattern中，若不在则将其并入模式集合M中，若是，则模式集合M计数加1；

S23、重复步骤S21-S22直至所有的句子处理完毕，对模式集合M中的模式词判定其计数是否大于设定阈值，若是则所选择的模式词m_i为高频模式，对应选择的正样本数据为高质量正样本数据。

3.根据权利要求2所述的一种远程监督数据集去噪方法，其特征在于，所述步骤S22中高质量正样本数据表示为：

其中，CTDS为高质量正样本数据，s_i为步骤S1获取的第i个远程监督数据，n为s_i的数量，t_j为第j个标签，m为t_j的数量，r为阈值参数；

表示第i个正样本数据的模式pattern概率，p_i为pattern_i在整个远程监督数据集中出现的次数，n为pattern的总数。

4.根据权利要求3所述的一种远程监督数据集去噪方法，其特征在于，所述步骤S3具体方式为：

S31、将步骤S2获取的高质量正样本数据和步骤S1中的负样本集结合作为训练数据集；

S32、根据步骤S31中的训练数据集构建CNN卷积神经网络；计算步骤S31构建的CNN卷积神经网络的损失；

S33、调整CNN网络参数直至网络损失小于设定阈值，输出高质量负样本数据。

5.根据权利要求4所述的一种远程监督数据集去噪方法，其特征在于，所述步骤S32中利用FocalLoss函数计算CNN卷积神经网络的损失，表示为：

FL(pt)＝-(1-P_t)^γlog(P_t)；

其中，其中P_t为数据x标注为负样本标签y的分类概率，γ为缩放因子。

6.根据权利要求5所述的一种远程监督数据集去噪方法，其特征在于，所述步骤S33中高质量负样本数据表示为：

其中，CFD为高质量负样本数据，p表示预测样本属于1的概率(范围是0-1)，y表示负样本标签，y的取值范围是{+1，-1}。