[发明专利]模型训练方法和装置、文本预测方法和装置

权利要求书

1.一种模型训练方法，所述方法包括：

获取至少一个段落文本，每个段落文本包括多个细粒度样本；

对每个段落文本中的细粒度样本进行处理，得到粗粒度样本；

标注各个段落文本中的粗粒度样本，并采用一个所述细粒度样本的掩码遮挡一个粗粒度样本，采用一个所述细粒度样本的掩码遮挡一个细粒度样本，得到训练样本集，所述训练样本集包括多个标注文本，每个标注文本包括细粒度样本、被标注的粗粒度样本中的至少一项；所述得到训练样本集的过程包括：标注各个段落文本中的粗粒度样本的内容和类型；采用与细粒度模型对应的所述细粒度样本的掩码遮挡各个段落文本中的粗粒度样本，得到被标注的粗粒度样本；按各个细粒度样本和各个粗粒度样本在各自段落文本中的顺序排序所有细粒度样本和被标注的粗粒度样本，得到训练样本集；

采用所述训练样本集训练所述细粒度模型，使所述细粒度模型对每个遮挡的粗粒度样本，只预测一次便可以得到每个粗粒度样本的完整表示，而不是预测每个粗粒度样本中的所有细粒度表示，得到训练完成的细粒度模型，所述细粒度模型用于学习上一个细粒度的内容，并预测相邻的粗粒度或细粒度的内容。

2.根据权利要求1所述的方法，其中，所述细粒度样本为字样本，所述粗粒度样本包括：词语样本或实体样本；所述对每个段落文本中的细粒度样本进行处理，得到粗粒度样本，包括：

获取每个段落文本中的所有字样本的语义；

基于各个字样本的语义，检测当前段落文本中相邻的至少两个字样本是否符合词语组合规则或者实体命名规则；

响应于检测到相邻的至少两个字样本组合符合词语组合规则或者实体命名规则，组合所有符合词语规则或者实体命名规则的字样本，得到词语样本或者实体样本。

3.根据权利要求2所述的方法，其中，所述细粒度样本为字样本，所述粗粒度样本还包括：短语样本；所述对每个段落文本中的细粒度样本进行处理，得到粗粒度样本，还包括：

基于各个字样本的语义和各个字样本的结构，检测当前段落文本中所有字样本是否符合短语组合规则；

响应于检测到当前段落文本中字样本符合短语组合规则，组合所有符合短语组合规则的字样本，得到短语样本。

4.根据权利要求1所述的方法，其中，所述细粒度样本包括：词语样本或实体样本，所述粗粒度样本包括：短语样本；所述对每个段落文本中的细粒度样本进行处理，得到粗粒度样本，包括：

获取每个段落文本中的所有词语样本或实体样本的语义和结构；

基于各个词语样本或实体样本的语义和结构，检测当前段落文本中相邻的至少两个词语样本或实体样本是否符合短语组合规则；

响应于检测到当前段落文本中相邻的至少两个词语样本或实体样本符合短语组合规则，组合所有符合短语组合规则的词语样本或实体样本，得到短语样本。

5.根据权利要求1所述的方法，其中，所述细粒度样本为字样本，所述粗粒度样本包括：短语样本；所述对每个段落文本中的细粒度样本进行处理，得到粗粒度样本，包括：

获取每个段落文本中的所有字样本的语义和结构；

基于各个字样本的语义和各个字样本的结构，依次检测当前段落文本中预设相邻个字样本是否符合短语组合规则；

响应于检测到当前段落文本中预设相邻个字样本有符合短语组合规则的多个字样本，组合符合短语组合规则的多个字样本，得到短语样本。

6.一种文本预测方法，所述方法包括：

获取待预测文本；

将待预测文本输入如权利要求1-5任一项所述的方法生成的细粒度模型，得到所述待预测文本中粗粒度以及所述粗粒度的类型、所述待预测文本中的细粒度以及所述细粒度的类型。