[发明专利]一种数据处理方法及装置

说明书

本申请提供一种数据处理方法及装置，在训练用于进行人物关系抽取的机器学习模型过程中，对每个训练数据包的每条句子中的人物名称进行标准化处理，得到每条句子对应的标准化句子，计算每条标准化句子中每个词的注意力，并注意力，得到每条标准化句子的句向量，根据每个训练数据包对应的每条标准化句子的句向量，得到每个训练数据包的包向量，计算每个训练数据包的损失值和每条标准化句子的损失值，根据每条标准化句子的句向量、每个训练数据包的包向量、每个训练数据包的损失值和每条标准化句子的损失值，训练得到用于进行人物关系抽取的机器学习模型，通过人物名称的统一化和加入标准化句子的损失值来提高机器学习模型的准确度。

技术领域

本申请属于数据处理技术领域，尤其涉及一种数据处理方法及装置。

背景技术

人物关系抽取是一种信息抽取任务，例如用句子“A师从中国著名相声表 演艺术家B”和目标实体名对A，B，可以抽取出A，老师，B三元组数据， 该三元组数据可以表示出A和B之间的人物关系，进而可以利用三元组数据 表示出的人物关系构建人物关系图谱。利用人物关系抽取技术，可以从文本 中抽取人物之间关系的三元组知识。人物关系知识可以用于人物关系图谱构 建、人物关系展示等。

目前人物关系抽取可通过机器学习模型完成，机器学习模型使用的任一 条训练数据对应的人物关系可通过远程监督方式自动标注，根据任一条训练 数据对应的人物关系和任一条训练数据的包向量，得到用于进行人物关系抽 取的机器学习模型。

发明内容

有鉴于此，本申请的目的在于提供一种数据处理方法及装置，用于提高 用于进行人物关系抽取的机器学习模型的准确度。技术方案如下：

一方面，本申请提供一种数据处理方法，所述方法包括：

对每个训练数据包的每条句子中的人物名称进行标准化处理，得到每条 句子对应的标准化句子，所述标准化处理使得每个训练数据包的每条句子中 的人物名称相同；

计算每条标准化句子中每个词之间的注意力，并根据每条标准化句子中 每个词之间的注意力，得到每条标准化句子的句向量；

根据每个训练数据包对应的每条标准化句子的句向量，得到每个训练数 据包的包向量；

计算每个训练数据包的损失值和每条标准化句子的损失值；

根据所述每条标准化句子的句向量、每个训练数据包的包向量、每个训 练数据包的损失值和每条标准化句子的损失值，训练得到用于进行人物关系 抽取的机器学习模型。

可选的，所述根据每条标准化句子中每个词之间的注意力，得到每条标 准化句子的句向量包括：对每条标准化句子执行以下步骤：

根据每个词之间的注意力得到标准化句子的原始句向量；

根据适用于所有标准化句子的预设特征参数，得到所述标准化句子的预 设特征向量；

根据所述原始句向量和所述预设特征向量，得到所述标准化句子的句向 量。

可选的，所述根据所述原始句向量和所述预设特征向量，得到所述标准 化句子的句向量包括：

对所述原始句向量和所述预设特征向量进行拼接降维，得到所述标准化 句子的目标特征向量，所述目标特征向量与所述预设特征向量的维度相同；

将所述目标特征向量和所述原始句向量进行拼接，得到所述标准化句子 的句向量。

可选的，所述方法还包括：

利用所述机器学习模型输出所述训练数据包中句子的概率分布向量；