[发明专利]一种语料混淆处理方法、装置及介质

权利要求书

1.一种语料混淆处理方法，其特征在于，包括：

获取待处理数据，所述待处理数据包括初始用户问和对应的标准问；

剔除所述初始用户问中存在混淆的用户问以得到目标用户问；

将所述目标用户问和对应的目标标准问作为训练样本对所调用的分类模型进行训练；

基于训练结果对所述目标用户问和所述目标标准问进行修复，直到所述训练结果满足预设要求为止；

其中，所述剔除所述初始用户问中存在混淆的用户问以得到目标用户问进一步包括：

将全部所述初始用户问做笛卡尔积，并两两组成句子对；

计算每个所述句子对的编辑距离；

筛选出所述编辑距离大于第一阈值的句子对中的用户问作为所述目标用户问；

利用预先训练的特征提取模型对所述目标用户问进行特征提取；其中，所述特征提取模型通过通用语料训练样本训练得到；

根据特征提取的结果确定两两所述目标用户问构成的句子对之间的相似度；

筛选出所述相似度不大于第二阈值的句子对中的用户问作为所述目标用户问；

获取所述相似度大于第二阈值的待确定句子对；

若同一个待确定句子对中的两个用户问对应的标准问相同，且两个用户问不全部为所述目标用户问，则将其中一个不为所述目标用户问的用户问保留以作为所述目标用户问；

若同一个所述待确定句子对中的两个所述用户问对应的标准问不相同，则筛选出所述相似度大于第三阈值的待确定句子对以进行人工校验；其中，所述第三阈值大于第二阈值；

根据人工校验结果将符合要求的用户问保留以作为所述目标用户问。

2.根据权利要求1所述的语料混淆处理方法，其特征在于，所述将所述目标用户问和对应的目标标准问作为训练样本对所调用的分类模型进行训练包括：

按照K折交叉验证将所述目标用户问和对应的目标标准问作为训练样本对所调用的分类模型进行训练。

3.根据权利要求2所述的语料混淆处理方法，其特征在于，所述基于训练结果对所述目标用户问和所述目标标准问进行修复，直到所述训练结果满足预设要求为止包括：

获取所述K折交叉验证所得到的首次预测结果；

依据所述首次预测结果计算每个标准问对应的F1-Socre以及所述训练样本的整体micro-F1；

若所述整体micro-F1满足所述预设要求，则确定所述目标用户问和所述目标标准问不需要修复；

若所述整体micro-F1不满足所述预设要求，则通过F1-Socre挑选出需要修复的所述目标标准问，并依据所述首次预测结果筛选出预测错误的结果和预测正确的结果；

将预测错误的结果对应的用户问和标准问作为复杂样本，将预测正确的结果对应的用户问和标准问作为简单样本；

将所述简单样本再次作为训练样本对所述分类模型进行训练；

将所述复杂样本中的用户问输入至再次训练的所述分类模型得到二次预测结果；

根据所述二次预测结果挑选出所述复杂样本中需要修复的用户问和标准问；

获取对需要修复的目标标准问的修复结果和对需要修复的用户问和标准问的修复结果；

依据所述修复结果得到新的待处理数据，并返回所述剔除所述初始用户问中存在混淆的用户问以得到目标用户问的步骤。