[发明专利]一种基于变压器模型和多参照系的文本编码表示方法有效
| 申请号： | 201910481144.6 | 申请日： | 2019-06-04 |
| 公开（公告）号： | CN110399454B | 公开（公告）日： | 2022-02-25 |
| 发明（设计）人： | 杨志明 | 申请（专利权）人： | 深思考人工智能机器人科技（北京）有限公司 |
| 主分类号： | G06F16/33 | 分类号： | G06F16/33;G06F40/30;G06F40/289;G06N20/00 |
| 代理公司： | 北京德琦知识产权代理有限公司 11018 | 代理人： | 谢安昆;宋志强 |
| 地址： | 100084 北京市海淀区上*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 公开了基于变压器模型和多参照系的文本编码表示方法，该方法包括，基于语境化文本的词向量和分隔符向量编码结果，将词向量和所在句的分割符向量进行拼接，获得拼接词向量；将所述拼接词向量按照设置的至少两个以上语义概念进行映射，获得所述词向量的至少两个以上语义概念向量，并使得当词向量的绝对语义概念数小于设定的语义概念总数时，该词向量的语义概念向量表示趋同，最终剩下p种不相似的语义概念向量；通过最大池化，从所述不相似的语义概念向量中选择出词向量在当前语境中最合适的语义概念向量，作为词向量在当前语境下的语义预测结果；获得词向量的概率向量，根据概率向量，确定词向量所对应语义概念下的词语概率。 | ||
| 搜索关键词： | 一种 基于 变压器 模型 参照系 文本 编码 表示 方法 | ||
【主权项】：
1.一种基于变压器模型和多参照系的文本编码表示方法，其特征在于，该方法包括，将自然语言文本按照句子进行分词，获得各个分词序列的词向量；将所述词向量基于变压器模型进行编码，获得语境化编码结果；基于语境化编码结果，将词向量进行拼接，获得拼接词向量；将所述拼接词向量按照设置的至少两个以上语义概念进行映射，获得所述词向量的至少两个以上语义概念向量，并使得当词向量的绝对语义概念数p小于设定的语义概念总数P时，该词向量的语义概念向量表示趋同，最终剩下p种不相似的语义概念向量；通过最大池化，从所述不相似的语义概念向量中选择出词向量在当前语境中最合适的语义概念向量，作为词向量在当前语境下的语义预测结果；将词向量在当前语境下的语义预测结果进行归一化，并获得词向量的概率向量，根据概率向量，确定词向量所对应语义概念下的词语概率。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于深思考人工智能机器人科技（北京）有限公司，未经深思考人工智能机器人科技（北京）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910481144.6/，转载请声明来源钻瓜专利网。
