[发明专利]一种用于文本校验的数据处理方法、电子设备及存储介质

权利要求书

1.一种用于文本校验的数据处理方法，其特征在于，所述方法还包括如下步骤：

S100、从文本数据库的第一文本集中获取m个第一文本均作为样本文本，构建成样本文本列表A=（A₁，A₂，A₃，……，A_m），A_i是指第i个样本文本，i=1……m，并当A_i中存在与预设关键词列表中任一预设关键词一致的关键词时，将A_i的关键词位置标记为指定起始位置和将A_i的结束位置标记为指定结束位置，且将所述指定起始位置和所述指定结束位置之间的语段作为A_i的目标语段，以基于存在所述目标语段的A_i作为训练集数据，构建成训练集，其中，所述第一文本是指存储半结构化数据的文本；

S200、将所述训练集输入至预设的语言模型中进行训练，得到已训练的语言模型，在S200步骤中还包括如下步骤：

S201、将所述训练集中A_i输入至预设的语言模型中，获取A_i对应的关键数据，构建成关键数据列表S_i；

S203、获取A_i对应的文本ID，并根据A_i对应的文本ID，从校验数据列表中获取所述A_i对应的文本ID的所有校验数据，以每一所述校验数据作为第二中间数据构建成第二中间数据列表；

S205、遍历A_i对应的关键数据列表且根据所述A_i对应的关键数据列表和A_i对应的第二中间数据列表，确定出A的概率值F，F符合如下条件：

，其中，S_i为所述A_i对应的关键数据列表中关键数据的数量，为所述A_i对应的关键数据列表中与所述第二中间数据列表中对应的第二中间数据不一致的数据数量；

S207、遍历A且当F≥预设的概率阈值时，得到已训练的语言模型；

S209、F＜预设的概率阈值时，重新获取样本文本列表，以根据进行迭代至F≥预设的概率阈值时，得到已训练的语言模型；

在S209步骤中包括：与A可具有相同的样本文本，当对所述语言模型进行重新训练时，需要重新获取的与A为相同的文本类型，并中包括A_i对应的概率F_i＜预设的概率阈值的样本文本且不包括A_i对应的概率F_i≥预设的概率阈值的样本文本，其中，

F_i符合如下条件：；

S300、获取目标文本且将所述目标文本输入至已训练的语言模型中，获取目标文本对应的目标数据列表B=（B₁，B₂，B₃，……，B_n），B_j是指第j个目标数据，j=2……n，n为目标数据数量，并将B中每一B_j以若干个预设的三元组构架，获取所述目标文本对应的目标知识图谱；

S400、获取目标文本的文本ID，并根据目标文本的文本ID，从校验数据列表中获取所述目标文本的文本ID对应的所有校验数据，以每一所述校验数据作为第一中间数据构建成第一中间数据列表，其中，所述目标文本是指在文本数据库中除样本文本之外的任一第一文本；

其中，在S400步骤中还包括如下步骤：根据第一文本的文本ID，从文本数据库中获取第一文本的文本ID对应的若干个第二文本，并将所有的第二文本进行预处理，从所述第二文本中获取指定数据作为第一文本的校验数据，以根据所有第一文本的校验数据和第一文本的文本ID，构建成校验数据列表，其中，所述第二文本是指记录了用于校验第一文本的数据对应的文本，所述第二文本为结构化的文本；

S500、遍历所述目标知识图谱且当所述目标知识图谱中任一目标数据与所述第一中间数据列表中对应的第一中间数据不一致时，将所述第一中间数据替换为对应的所述目标数据。

2.根据权利要求1所述的用于文本校验的数据处理方法，其特征在于，在S100步骤中，A_i中的关键词通过自然语言处理方法进行确定。