[发明专利]模型数据处理方法及电子设备

说明书

本申请实施例提供了一种模型数据处理方法及电子设备，其中，模型数据处理方法包括：获取用于对命名实体识别模型进行训练的、无标签的命名实体第一语言训练样本；根据命名实体第一语言训练样本对应的候选实体字段，进行候选实体字段的占位符替换操作，获得替换后的第一语言训练样本，并且，获得候选实体字段对应的第二语言实体字段；获得替换后的第一语言训练样本对应的第二语言训练样本，并使用第二语言实体字段替换第二语言训练样本中占位符对应的字段，获得替换后的第二语言训练样本；基于第一语言训练样本和替换后的第二语言训练样本，分别进行命名实体预测，获得预测结果；根据预测结果，对命名实体识别模型进行训练。

技术领域

本申请实施例涉及人工智能技术领域，尤其涉及一种涉及命名实体识别模型的模型数据处理方法及电子设备。

背景技术

命名实体识别(Named Entity Recognition,NER)是一种识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等的技术。随着互联网在人们生活和工作中的广泛使用，NER相应地也被广泛地应用于各种场景中，例如电商平台搜索、推荐及客服系统等，其多通过NER模型实现命名实体识别。

通常，NER模型需要基于有标签的某种语言的训练样本来进行训练才能获得。但对很多语言来说，因对NER模型进行训练的标签训练样本的数据量不足，从而使得无法在这些语言上开发单独的NER模型。又因语言学上的差异，现有的NER模型也很难应用到这些标签训练样本较少的语言上。由此，导致NER在某些场景中，如跨境电商多语言应用场景中很难被有效应用。

发明内容

有鉴于此，本申请实施例提供一种模型数据处理方案，以至少部分解决上述问题。

根据本申请实施例的第一方面，提供了一种模型数据处理方法，包括：获取用于对命名实体识别模型进行训练的、无标签的命名实体第一语言训练样本；根据所述命名实体第一语言训练样本对应的候选实体字段，进行所述候选实体字段的占位符替换操作，获得替换后的第一语言训练样本，并且，获得所述候选实体字段对应的第二语言实体字段；获得替换后的第一语言训练样本对应的第二语言训练样本，并使用所述第二语言实体字段替换所述第二语言训练样本中占位符对应的字段，获得替换后的第二语言训练样本；基于所述命名实体第一语言训练样本和所述替换后的第二语言训练样本，分别进行命名实体预测，获得预测结果；根据所述预测结果，对所述命名实体识别模型进行训练。

根据本申请实施例的第二方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述方法对应的操作。

根据本申请实施例的第三方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的方法。

根据本申请实施例提供的方案，在使用无标签的第一语言训练样本对命名实体识别模型进行训练之前，先对其进行翻译操作。在该操作过程中，使用占位符将第一语言训练样本中可能为实体的候选实体字段(即可能的实体目标字/词)替换掉，则在获得的第二语言训练样本中，占位符即可指示可能为实体的目标字/词在第二语言训练样本中的位置；再用第二语言实体字段(即第一语言训练样本的候选实体字段对应的翻译后的目标语言中的字段)替换占位符，即可获得第一语言训练样本对应的完整翻译，且翻译前后的目标字/词相互对应，从而可以有效避免翻译前后的字/词映射不明确的问题。在此基础上，对第一语言训练样本和最后的完整翻译的第二语言训练样本分别进行命名实体预测，可实现在无标签样本情况下的无监督训练，再结合命名实体识别模型的常规有监督训练，即可将命名实体识别模型的训练扩展至无标签的语言训练样本场景中，从而实现命名实体识别模型的有效训练。训练完成的命名实体识别模型可应用至各种不同的语言应用场景下，具有更好的表现和效果。

附图说明