[发明专利]一种用于文本校验的数据处理方法、电子设备及存储介质

说明书

本发明涉及一种用于文本校验的数据处理方法、电子设备及存储介质，所述方法包括如下步骤：从文本数据库获取样本文本列表并当任一样本文本中存在与预设关键词列表中任一预设关键词一致的关键词时，将样本文本的关键词位置标记为指定起始位置和将样本文本的结束位置标记为指定结束位置，且将指定起始位置和指定结束位置之间的语段作为的目标语段，以基于存在目标语段的样本文本作为训练集数据，构建成训练集；将训练集输入至预设的语言模型中进行训练，得到已训练的语言模型；通过已训练的语言模型，获取目标文本的知识图谱，以使得根据知识图谱与预设的校验数据进行比对。本发明能够提高结构化文本数据和半结构化文本数据比对的准确性格效率。

技术领域

本发明涉及数据处理技术领域，具体涉及一种用于文本校验的数据处理方法、电子设备及存储介质。

背景技术

现有技术中，将文本数据划分成三种类型分别为：结构化文本数据，随机文本数据和半结构化文本数据；其中，结构化文本数据中，特定位置的文本数据具有特定含义，易于被转化为关系型数据库中的表结构，例如cvs格式的文本数据、OCR处理后的发票文本数据或电力系统特定领域的结算单数据等；随机文本数据中，各文本位置处的文本数据具有随机含义，例如，互联网上传播的新闻、小说、散文等文学作品等文本数据；半结构化文本数据介于结构化文本数据和随机文本数据之间，特定位置的文本数据可具有特定含义，但难于被转化为关系型数据库中的表结构，例如，电力系统等特定领域的合同中的结算条款等。

在一些应用场景中，尤其是电力系统的结算审核场景中，需要对结构化文本数据和半结构化文本数据进行比对，即判断结算单据中的结构化数据是否符合合同中的半结构化的结算条款的要求，但是由于半结构化文本数据难于转换为关系型数据库的表结构，因此现有技术中通常采用人工方式进行比对，会导致数据比对的效率和准确率均较低，影响到数据的校验过程。

发明内容

针对上述技术问题，本申请采用的技术方案为一种用于文本校验的数据处理方法、电子设备及存储介质，所述方法包括如下步骤：

S100、从文本数据库的第一文本集中获取m个第一文本均作为样本文本，构建成样本文本列表A=（A₁，A₂，A₃，……，A_m），A_i是指第i个样本文本，i=1……m，并当A_i中存在与预设关键词列表中任一预设关键词一致的关键词时，将A_i的关键词位置标记为指定起始位置和将A_i的结束位置标记为指定结束位置，且将所述指定起始位置和所述指定结束位置之间的语段作为A_i的目标语段，以基于存在所述目标语段的A_i作为训练集数据，构建成训练集；

S200、将所述训练集输入至预设的语言模型中进行训练，得到已训练的语言模型；

S300、获取目标文本且将所述目标文本输入至已训练的语言模型中，获取目标文本对应的目标数据列表B=（B₁，B₂，B₃，……，B_n），B_j是指第j个目标数据，j=2……n，n为目标数据数量，并将B中每一B_j以若干个预设的三元组构架，获取所述目标文本对应的目标知识图谱；

S400、获取目标文本的文本ID，并根据目标文本的文本ID，从校验数据列表中获取所述目标文本的文本ID对应的所有校验数据，以每一所述校验数据作为第一中间数据构建成第一中间数据列表；

S500、遍历所述目标知识图谱且当所述目标知识图谱中任一目标数据与所述第一中间数据列表中对应的第一中间数据不一致时，将所述第一中间数据替换为对应的所述目标数据。