[发明专利]数据清洗方法、装置、计算机设备及可读存储介质

说明书

本发明实施例提供了一种数据清洗方法、装置、计算机设备及可读存储介质，其中，该方法包括：获取待清洗数据，针对每个知识点，将主知识点问题和每个子知识点问题分别组成知识点对；针对每个知识点对，将主知识点问题和子知识点问题分别输入bert预训练模型，输出主知识点问题的上下文语义特征向量序列，输出子知识点问题的上下文语义特征向量序列；针对每个知识点对，将主知识点问题的上下文语义特征向量序列和子知识点问题的上下文语义特征向量序列输入注意力机制模型，根据主知识点问题的特征向量序列和子知识点问题的特征向量序列输出该知识点对的语义匹配度值；根据语义匹配度确定所述知识点对是否为脏数据。

技术领域

本发明涉及人工智能技术领域，特别涉及一种数据清洗方法、装置、计算机设备及可读存储介质。

背景技术

随着这些年互联网产业高速发展，越来越多的互联网平台开始使用智能问答系统服务于线上客户咨询业务。然而智能问答系统的使用效果取决于背后的知识库，根据线上实时数据整理的知识点会保存在知识库中。知识库中存在多个知识点，每个知识点包含多个子知识点以及对应的答案。智能问答系统会根据客户问题从知识库中输出最佳的答案。

所以针对智能问答系统，其知识库的准确性决定了其应用效果。同时我们根据线上数据整理的知识库或多或少存在脏数据，对知识库知识点的验证以及确保答案正确性十分重要。故我们需要针对知识库进行数据检测和清洗。

目前，数据检测和清洗方法对文本语义理解能力不足，使得影响了数据检测和清洗的准确性。

发明内容

本发明实施例提供了一种数据清洗方法，以解决现有技术中数据清洗存在准确度低的技术问题。该方法包括：

获取待清洗数据，针对每个知识点，将主知识点问题和每个子知识点问题分别组成知识点对；

针对每个知识点对，将主知识点问题和子知识点问题分别输入bert预训练模型，输出主知识点问题的上下文语义特征向量序列，输出子知识点问题的上下文语义特征向量序列，其中，所述bert预训练模型是基于待清洗数据的样本数据训练得到的；

针对每个知识点对，将主知识点问题的上下文语义特征向量序列和子知识点问题的上下文语义特征向量序列输入注意力机制模型，根据主知识点问题的特征向量序列和子知识点问题的特征向量序列输出该知识点对的语义匹配度值，其中，主知识点问题的特征向量序列和子知识点问题的特征向量序列中包括表示特征向量全局重要程度的特征信息；

根据语义匹配度确定所述知识点对是否为脏数据。

本发明实施例还提供了一种数据清洗装置，以解决现有技术中数据清洗存在准确度低的技术问题。该装置包括：

数据获取模块，用于获取待清洗数据，针对每个知识点，将主知识点问题和每个子知识点问题分别组成知识点对；

向量提取模块，用于针对每个知识点对，将主知识点问题和子知识点问题分别输入bert预训练模型，输出主知识点问题的上下文语义特征向量序列，输出子知识点问题的上下文语义特征向量序列，其中，所述bert预训练模型是基于待清洗数据的样本数据训练得到的；

语义匹配度计算模块，用于针对每个知识点对，将主知识点问题的上下文语义特征向量序列和子知识点问题的上下文语义特征向量序列输入注意力机制模型，根据主知识点问题的特征向量序列和子知识点问题的特征向量序列输出该知识点对的语义匹配度值，其中，主知识点问题的特征向量序列和子知识点问题的特征向量序列中包括表示特征向量全局重要程度的特征信息；

数据清洗模块，用于根据语义匹配度确定所述知识点对是否为脏数据。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的数据清洗方法，以解决现有技术中数据清洗存在准确度低的技术问题。