[发明专利]机器学习组件的训练方法及装置、中文分词方法及装置

权利要求书

1.一种机器学习组件的训练方法，其特征在于，包括：

将有标记的句子转化为字向量；

对无标记的句子进行无监督分词，获得无监督分词结果；

将无监督分词结果转化为标签序列，标签序列中每一标签对应句子中每一字，标签表明字在分词中的位置；

将标签序列转化为标签向量；

将标签向量和字向量输入机器学习组件进行训练；

将标签向量和字向量输入机器学习组件进行训练，包括：

采用多任务学习方式，将标签向量和字向量输入机器学习组件进行训练；

采用多任务学习方式，将标签向量和字向量输入机器学习组件进行训练，包括：

分别用标签向量和字向量训练机器学习组件，在训练过程中，对机器学习组件的参数按参数属性进行更新；

对机器学习组件的参数按参数属性进行更新，包括：

若参数属性为共享属性，则根据标签向量和字向量对参数进行更新；

若参数属性为非共享属性，则根据标签向量或字向量对参数进行更新。

2.如权利要求1所述的方法，其特征在于，将无监督分词结果转化为标签序列前，还包括：滤除无监督分词结果中的噪音数据。

3.如权利要求1所述的方法，其特征在于，标签表明字在分词中的位置，包括：标签表明字在词的开始、中间或结尾，或字为单字词。

4.如权利要求1所述的方法，其特征在于，采用多任务学习方式，将标签向量和字向量输入机器学习组件进行训练，包括：

根据字向量确定有标记的句子的分词结果；根据有标记的句子的分词结果确定字向量对应的损失函数；

根据标签向量确定无标记的句子的分词结果；根据无标记的句子的分词结果确定标签向量对应的损失函数；

根据字向量对应的损失函数和标签向量对应的损失函数确定机器学习组件的损失函数；

调整机器学习组件的参数，直至机器学习组件的损失函数不小于预设值。

5.如权利要求4所述的方法，其特征在于，根据字向量确定有标记的句子的分词结果，包括：

根据字向量确定与有标记的句子对应的每个候选分词结果中每个词的词向量；

根据每个候选分词结果中每个词的词向量，确定每个候选分词结果的候选得分；

将候选得分最高的候选分词结果作为有标记的句子的分词结果。

6.如权利要求4所述的方法，其特征在于，根据标签向量确定无标记的句子的分词结果，包括：

根据标签向量确定与无标记的句子对应的每个候选分词结果中每个词的词向量；

根据每个候选分词结果中每个词的词向量，确定每个候选分词结果的候选得分；

将候选得分最高的候选分词结果作为无标记的句子的分词结果。

7.如权利要求5或6所述的方法，其特征在于，根据每个候选分词结果中每个词的词向量，确定每个候选分词结果的候选得分，包括：

根据每个候选分词结果中每个词的词向量确定每个词的词得分；

根据每个候选分词结果中每个词的词向量确定每个词的合理性得分；

根据每个候选分词结果中每个词的词得分和合理性得分，确定每个候选分词结果的候选得分。