[发明专利]一种模型参数训练方法及装置

权利要求书

1.一种模型参数训练方法，其特征在于，所述模型参数用于识别口语化文本，所述方法包括：

获取口语化文本样本数据集合和根据所述口语化文本样本数据集合进行预测的数据模型，所述口语化文本样本数据集合包括已标注口语化文本样本和未标注口语化文本样本，所述数据模型包括初始化的第一参数V的向量和第二参数U的向量；

对于已标注口语化文本样本集合D^L中的每一个已标注口语化文本样本：由所述已标注口语化文本样本的第一特征向量Φ^v及所述第一参数V算出第一预测结果y₁，当所述第一预测结果y₁与所述已标注口语化文本样本的标注不一致时，更新所述第一参数V；由所述已标注口语化文本样本的第二特征向量Φ^u及所述第二参数U算出第二预测结果y₂，当所述第二预测结果y₂与所述已标注口语化文本样本的标注不一致时，更新所述第二参数U；重复上述两过程直到所有已标注口语化文本样本都被使用；

对于未标注口语化文本样本集合D^U中的每一个未标注口语化文本样本：由所述未标注口语化文本样本的第二特征向量Φ^u’及所述第二参数U算出第三预测结果z₃，由所述未标注口语化文本样本的第一特征向量Φ^v’及所述第一参数V算出第四预测结果z₄，当所述第三预测结果z₃跟所述第四预测结果z₄不一致时，更新所述第二参数U以及更新所述第一参数V，重复此过程直到所有未标注口语化文本样本都被使用；

其中，所述第一参数V与所述第二参数U用于从口语化文本中识别出实体名；

所述第一参数V为向量w^v，所述第二参数U为向量w^u，所述初始化所述第一参数V和所述第二参数U为将所述第一参数V和所述第二参数U置为0向量，所述已标注口语化文本样本为(x，y)，所述未标注口语化文本样本为z；对某一候选预测结果表示所有可能的预测结果集合，所述已标注口语化文本样本的第一特征向量Φ^v为Φ^v(x，y′)，所述已标注口语化文本样本的第二特征向量Φ^u为Φ^u(x，y′)；对某一候选预测结果表示所有可能的预测结果集合，所述未标注口语化文本样本的第二特征向量Φ^u’为Φ^u(z，y′)，所述未标注口语化文本样本的第一特征向量Φ^v’为Φ^v(z，y′)；

所述第一预测结果y₁通过如下公式计算：

所述第二预测结果y₂通过如下公式计算：

所述第三预测结果z₃通过如下公式计算：

所述第四预测结果z₄通过如下公式计算：

当所述第一预测结果y₁与所述已标注口语化文本样本的标注不一致时，更新所述第一参数V包括：更新后的第一参数V的向量＝w^v+Φ^v(x，y)-Φ^v(x，y₁)；

当所述第二预测结果y₂与所述已标注口语化文本样本的标注不一致时，更新所述第二参数U包括：更新后的第二参数U的向量＝w^u+Φ^u(x，y)-Φ^u(x，y₂)；

当所述第三预测结果z₃跟所述第四预测结果z₄不一致时，更新所述第二参数U包括：更新后的同时更新所述第一参数V包括：更新后的

其中

λ、n及m为常数。

2.一种模型参数训练装置，其特征在于，所述模型参数用于识别口语化文本，所述装置包括：

获取模块，用于获取口语化文本样本数据集合和根据所述口语化文本样本数据集合进行预测的数据模型，所述口语化文本样本数据集合包括已标注口语化文本样本和未标注口语化文本样本，所述数据模型包括初始化的第一参数V的向量和第二参数U的向量；

第一训练模块，与所述获取模块相连，用于对于已标注口语化文本样本集合D^L中的每一个已标注口语化文本样本：由所述已标注口语化文本样本的第一特征向量Φ^v及所述第一参数V算出第一预测结果y₁，当所述第一预测结果y₁与所述已标注口语化文本样本的标注不一致时，更新所述第一参数V；由所述已标注口语化文本样本的第二特征向量Φ^u及所述第二参数U算出第二预测结果y₂，当所述第二预测结果y₂与所述已标注口语化文本样本的标注不一致时，更新所述第二参数U；重复上述两过程直到所有已标注口语化文本样本的标注都被使用；

第二训练模块，与所述第一训练模块相连，用于对于未标注口语化文本样本集合D^U中的每一个未标注口语化文本样本：由所述未标注口语化文本样本的第二特征向量Φ^u’及所述第二参数U算出第三预测结果z₃，由所述未标注口语化文本样本的第一特征向量Φ^v’及所述第一参数V算出第四预测结果z₄，当所述第三预测结果z₃跟所述第四预测结果z₄不一致时，更新所述第二参数U以及更新所述第一参数V，重复此过程直到所有未标注样本都被使用；

其中，所述第一参数V与所述第二参数U用于从口语化文本中识别出实体名；

所述第一参数V为向量w^v，所述第二参数U为向量w^u，所述初始化所述第一参数V和所述第二参数U为将所述第一参数V和所述第二参数U置为0向量，所述已标注口语化文本样本为(x，y)，所述未标注口语化文本样本为z；对某一候选预测结果表示所有可能的预测结果集合，所述已标注口语化文本样本的第一特征向量Φ^v为Φ^v(x，y′)，所述已标注口语化文本样本的第二特征向量Φ^u为Φ^u(x，y′)；对某一候选预测结果表示所有可能的预测结果集合，所述未标注口语化文本样本的第二特征向量Φ^u为Φ^u(z，y′)，所述未标注口语化文本样本的第一特征向量Φ^v为Φ^v(z，y′)。

所述第一预测结果y₁通过如下公式计算：

所述第二预测结果y₂通过如下公式计算：

所述第三预测结果z₃通过如下公式计算：

所述第四预测结果z₄通过如下公式计算：

当所述第一预测结果y₁与所述已标注口语化文本样本的标注不一致时，更新所述第一参数V包括：更新后的第一参数V的向量＝w^v+Φ^v(x，y)-Φ^v(x，y₁)；

当所述第二预测结果y₂与所述已标注口语化文本样本的标注不一致时，更新所述第二参数U包括：更新后的第二参数U的向量＝w^u+Φ^u(x，y)-Φ^u(x，y₂)；

当所述第三预测结果z₃跟所述第四预测结果z₄不一致时，更新所述第二参数U包括：更新后的同时更新所述第一参数V包括：更新后的

其中

λ、n及m为常数。