[发明专利]数据清洗方法、装置、计算机设备及可读存储介质

权利要求书

1.一种数据清洗方法，其特征在于，包括：

获取待清洗数据，针对每个知识点，将主知识点问题和每个子知识点问题分别组成知识点对；

针对每个知识点对，将主知识点问题和子知识点问题分别输入bert预训练模型，输出主知识点问题的上下文语义特征向量序列，输出子知识点问题的上下文语义特征向量序列，其中，所述bert预训练模型是基于待清洗数据的样本数据训练得到的；

针对每个知识点对，将主知识点问题的上下文语义特征向量序列和子知识点问题的上下文语义特征向量序列输入注意力机制模型，根据主知识点问题的特征向量序列和子知识点问题的特征向量序列输出该知识点对的语义匹配度值，其中，主知识点问题的特征向量序列和子知识点问题的特征向量序列中包括表示特征向量全局重要程度的特征信息；

根据语义匹配度确定所述知识点对是否为脏数据。

2.如权利要求1所述的数据清洗方法，其特征在于，针对每个知识点对，将主知识点问题和子知识点问题分别输入bert预训练模型，输出主知识点问题的上下文语义特征向量序列，输出子知识点问题的上下文语义特征向量序列，包括：

将主知识点问题和子知识点问题分别输入bert预训练模型，输出主知识点问题的具有固定长度的字向量序列，输出每个子知识点问题的具有固定长度的字向量序列；

针对子知识点问题的字向量序列与主知识点问题的字向量序列具有相同长度的知识点对，将主知识点问题的字向量序列输入双向长短时记忆网络，输出主知识点问题的上下文语义特征向量序列，将子知识点问题的字向量序列输入双向长短时记忆网络，输出子知识点问题的上下文语义特征向量序列。

3.如权利要求1或2所述的数据清洗方法，其特征在于，针对每个知识点对，将主知识点问题的上下文语义特征向量序列和子知识点问题的上下文语义特征向量序列输入注意力机制模型，根据主知识点问题的特征向量序列和子知识点问题的特征向量序列输出该知识点对的语义匹配度值，包括：

将主知识点问题的上下文语义特征向量序列和子知识点问题的上下文语义特征向量序列输入注意力机制模型，通过所述注意力机制模型执行以下步骤：

计算主知识点问题的上下文语义特征向量序列中各特征向量的注意力权重，计算子知识点问题的上下文语义特征向量序列中各特征向量的注意力权重；

将注意力权重作为所述特征信息，对主知识点问题的上下文语义特征向量序列中各特征向量进行对应的注意力权重加权，得到主知识点问题的特征向量序列，对子知识点问题的上下文语义特征向量序列中各特征向量进行对应的注意力权重加权，得到子知识点问题的特征向量序列；

根据主知识点问题的特征向量序列和子知识点问题的特征向量序列输出该知识点对的语义匹配度值。

4.如权利要求3所述的数据清洗方法，其特征在于，计算主知识点问题的上下文语义特征向量序列中各特征向量的注意力权重，计算子知识点问题的上下文语义特征向量序列中各特征向量的注意力权重，包括：

将主知识点问题的上下文语义特征向量序列和子知识点问题的上下文语义特征向量序列中最后时刻状态的特征向量进行向量拼接，得到背景信息；

将所述背景信息的维度降低至一半；

计算所述背景信息与主知识点问题的上下文语义特征向量序列中每时刻的特征向量之间的相似度值，主知识点问题的上下文语义特征向量序列中各特征向量对应的相似度值组成主知识点问题的相似度向量，计算所述背景信息与子知识点问题的上下文语义特征向量序列中每时刻的特征向量之间的相似度值，子知识点问题的上下文语义特征向量序列中各特征向量对应的相似度值组成子知识点问题的相似度向量；

根据主知识点问题的相似度向量计算主知识点问题的上下文语义特征向量序列中各特征向量的注意力权重，根据子知识点问题的相似度向量计算子知识点问题的上下文语义特征向量序列中各特征向量的注意力权重。