[发明专利]马来语识别模型的训练方法、识别方法、装置、设备

说明书

本发明公开了一种马来语识别模型的训练方法，包括：从预设的马来语数据库中获取至少一个待训练的马来语句子；其中，词性不同的同一单词应用于所述待训练的马来语句子；根据预设的马来语信息提取模型获取所述待训练的马来语句子对应的语义信息；其中，所述语义信息包括词向量特征信息以及文本特征信息；根据预设的Bi‑LSTM模型对所述语义信息进行编码；将编码后的语义信息分别输入至词性标注任务模块以及命名实体识别任务模块进行训练，获取训练完成的马来语识别模型。本发明实施例还提供了一种马来语的识别方法、装置、设备及介质，有效解决现有技术马来语识别的准确性较差的问题。

技术领域

本发明涉及马来语识别技术领域，尤其涉及一种马来语识别模型的训练方法、识别方法、装置、设备。

背景技术

目前，马来西亚语可以通过三种方式进行识别。一是基于领域规则进行识别；二是基于统计机器学习进行识别，三是基于规则和统计相结合进行识别。

但是，基于规则的识别方法需要构建复杂的规则来实现，需要花费大量的人力物力，通常需要经过多次测评和反复修正来完善规则。所制定出的规则往往只能在相对应的领域有很好的效果，如果变换领域则有可能无法满足需求；而基于统计机器学习的统计模型在特征学习方面缺少泛化能力，不同领域的模型无法通用；而基于规则和统计相结合的识别方法虽然可以弥补上述两种方法的缺陷，但是依然无法很好的识别词性不同的同一单词，例如在两个句子中，“我正在吃一个苹果”和“我有一个苹果手机”，两个“苹果”指向完全不同的事物，但是它们仍然共享相同的词向量，可见目前马来语识别的准确性较差。

发明内容

本发明实施例提供一种马来语识别模型的训练方法、马来语的识别方法、装置、设备及介质，能有效解决现有技术马来语识别的准确性较差的问题。

本发明一实施例提供一种马来语识别模型的训练方法，包括：

从预设的马来语数据库中获取至少一个待训练的马来语句子；其中，词性不同的同一单词应用于所述待训练的马来语句子；

根据预设的马来语信息提取模型获取所述待训练的马来语句子对应的语义信息；其中，所述语义信息包括词向量特征信息以及文本特征信息；

根据预设的Bi-LSTM模型对所述语义信息进行编码；

将编码后的语义信息分别输入至词性标注任务模块以及命名实体识别任务模块进行训练，获取训练完成的马来语识别模型。

作为上述方案的改进，所述根据预设的马来语信息提取模型获取所述待训练的马来语句子对应的语义信息，具体包括：

根据词向量提取模型获取所述待训练的马来语句子对应的词向量特征信息；

根据卷积神经网络提取所述待训练的马来语句子对应的文本特征信息。

作为上述方案的改进所述根据预设的Bi-LSTM模型对所述语义信息进行编码，具体包括：

前向LSTM层对词向量特征信息进行编码，后向LSTM层对文本特征信息进行编码；

将编码后的词向量特征信息与编码后的文本特征信息进行拼接处理，获得编码后的语义信息。

作为上述方案的改进，所述将编码后的语义信息分别输入至词性标注任务模块以及命名实体识别任务模块进行训练，获取训练完成的马来语识别模型，具体包括：

将所述编码后的语义信息分别输入至所述词性标注任务模块的Multi-headSelf-Attention层，再输入至对应的损失函数进行计算，得到第一损失值；

将所述编码后的语义信息分别输入至所述命名实体识别任务模块的Multi-headSelf-Attention层，再输入至对应的损失函数进行计算，得到第二一损失值；