[发明专利]语言模型的训练及分词预测方法和装置、语言模型在审
| 申请号： | 201911047639.4 | 申请日： | 2019-10-30 |
| 公开（公告）号： | CN110826324A | 公开（公告）日： | 2020-02-21 |
| 发明（设计）人： | 曹绍升;崔卿 | 申请（专利权）人： | 支付宝（杭州）信息技术有限公司 |
| 主分类号： | G06F40/289 | 分类号： | G06F40/289;G06F40/126;G06N3/08;G06N3/04 |
| 代理公司： | 北京博思佳知识产权代理有限公司 11415 | 代理人： | 周嗣勇 |
| 地址： | 310000 浙江省杭州市*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 语言 模型 训练 分词 预测 方法 装置 | ||
1.一种语言模型的训练方法，所述方法包括：
获取训练文本；
分别获取所述训练文本中各个第一分词的第一笔画集合，其中，所述第一笔画集合中包括所述第一分词中各个字符的第一笔画编码；
将所述第一分词及其第一笔画编码作为所述语言模型的输入，将所述训练文本中位于所述第一分词之后的至少一个其他第一分词作为所述语言模型的输出，以训练所述语言模型。
2.根据权利要求1所述的方法，所述语言模型包括依次相连的第一机器学习模型、第二机器学习模型和第三机器学习模型；
将所述第一分词及其第一笔画编码作为所述语言模型的输入，将所述训练文本中位于所述第一分词之后的至少一个其他第一分词作为所述语言模型的输出，以训练所述语言模型的步骤包括：
将所述第一笔画编码作为所述第一机器学习模型的输入，将所述第一分词作为所述第二机器学习模型的输入，并将所述至少一个其他第一分词作为所述第三机器学习模型的输出，以训练所述语言模型。
3.根据权利要求2所述的方法，所述第一机器学习模型和所述第二机器学习模型均为卷积神经网络，所述第三机器学习模型为长短期记忆网络。
4.根据权利要求1至3任意一项所述的方法，在分别获取所述训练文本中的各个第一分词的第一笔画集合之前，所述方法还包括：
对所述训练文本进行过滤。
5.一种分词预测方法，所述方法包括：
获取第二分词及其第二笔画集合；其中，所述第二笔画集合中包括所述第二分词中各个字符的第二笔画编码；
将所述第二分词及其第二笔画编码输入预先训练的语言模型，以预测所述第二分词之后的至少一个目标分词。
6.根据权利要求5所述的方法，所述语言模型根据训练文本中各个第一分词及其第一笔画编码训练得到。
7.根据权利要求6所述的方法，所述语言模型根据以下方式训练得到：
分别获取所述训练文本中各个第一分词的第一笔画集合，其中，所述第一笔画集合中包括所述第一分词中各个字符的第一笔画编码；
将所述第一分词及其第一笔画编码作为所述语言模型的输入，将所述训练文本中位于所述第一分词之后的至少一个其他第一分词作为所述语言模型的输出，以训练所述语言模型。
8.根据权利要求5至7任意一项所述的方法，所述语言模型包括依次相连的第一机器学习模型、第二机器学习模型和第三机器学习模型；
将所述第二分词及其第二笔画编码输入预先训练的语言模型，以预测所述第二分词之后的至少一个目标分词的步骤包括：
将所述第二笔画编码输入所述第一机器学习模型，将所述第二分词输入所述第二机器学习模型，并获取所述第三机器学习模型输出的至少一个目标分词。
9.根据权利要求8所述的方法，所述第一机器学习模型和所述第二机器学习模型均为卷积神经网络，所述第三机器学习模型为长短期记忆网络。
10.一种语言模型，所述语言模型包括：
依次相连的第一机器学习模型、第二机器学习模型和第三机器学习模型；
所述第一机器学习模型用于输入第二分词的第二笔画集合；其中，所述第二笔画集合中包括所述第二分词中各个字符的第二笔画编码；
所述第二机器学习模型用于输入所述第二分词；
所述第三机器学习模型用于对所述第二分词之后的至少一个目标分词进行预测。
11.根据权利要求10所述的语言模型，所述第一机器学习模型和所述第二机器学习模型均为卷积神经网络，所述第三机器学习模型为长短期记忆网络。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于支付宝（杭州）信息技术有限公司，未经支付宝（杭州）信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201911047639.4/1.html，转载请声明来源钻瓜专利网。
- 上一篇：数据获取请求处理方法、装置、计算机设备及存储介质
- 下一篇：防压疮头位固定枕
