[发明专利]文本识别方法及装置有效
申请号: | 201610864799.8 | 申请日: | 2016-09-29 |
公开(公告)号: | CN107885716B | 公开(公告)日: | 2020-02-11 |
发明(设计)人: | 杨钊 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F40/279 | 分类号: | G06F40/279;G06F40/289 |
代理公司: | 11240 北京康信知识产权代理有限责任公司 | 代理人: | 董文倩;褚敏 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 识别 方法 装置 | ||
1.一种文本识别方法,其特征在于,包括:
获取待识别的文本数据;
将所述文本数据输入识别模型,其中,所述识别模型根据多个训练节点分别训练得到的模型参数生成,每一个所述训练节点用于根据获取到的样本短语的识别系数得到所述模型参数;
获取所述识别模型输出的与所述文本数据对应的识别后的目标文本数据;
其中,在获取待识别的文本数据之前,还包括:获取样本文本数据,其中,所述样本文本数据中包括多个样本短语;利用所述样本短语生成所述识别模型,其中,用于生成所述识别模型的所述模型参数根据以下识别系数得到:所述样本短语的文法概率及回退系数。
2.根据权利要求1所述的方法,其特征在于,所述利用所述样本短语生成所述识别模型包括:
按照所述样本短语的前驱词,将所述样本文本数据中的所述样本短语分发至所述多个训练节点,其中,所述样本短语的所述前驱词为所述样本短语中当前词的前一个单词,所述当前词为所述样本短语中的最后一个单词,所述单词为具有独立含义的词组;
获取所述多个训练节点分别对接收到的所述样本短语训练后得到的所述模型参数;
合并所述模型参数以生成所述识别模型。
3.根据权利要求2所述的方法,其特征在于,所述将所述样本文本数据中的所述样本短语分发至所述多个训练节点包括:
将所述样本文本数据中阶次为一阶的所述样本短语分别分发至所述多个训练节点;
将所述样本文本数据中阶次为大于等于二阶的所述样本短语按照所述样本短语的所述前驱词分别分发至所述多个训练节点;
其中,所述阶次用于指示一个所述样本短语中所包含的单词数量。
4.根据权利要求2所述的方法,其特征在于,在所述将所述样本文本数据中的所述样本短语分发至所述多个训练节点时,还包括:
按照所述样本文本数据中所述样本短语的阶次,重复执行以下步骤,直至遍历所述样本文本数据中的所有阶次,其中,所述阶次用于指示一个所述样本短语中所包含的单词数量,每个所述阶次中包括一个或多个样本短语:
获取当前样本短语在所在当前阶次中的词频;根据所述词频获取与所述当前样本短语对应的文法系数,其中,所述文法系数用于获取所述当前样本短语的所述文法概率;
判断所述当前样本短语是否为所述当前阶次中的最后一个样本短语;
若所述当前样本短语不是所述当前阶次中的所述最后一个样本短语,则获取所述当前阶次中位于所述当前样本短语之后的下一个样本短语作为所述当前样本短语;
若所述当前样本短语是所述当前阶次中的所述最后一个样本短语,则获取位于所述当前阶次之后的下一个阶次作为当前阶次,获取所述位于所述当前阶次之后的下一个阶次中的一个样本短语作为所述当前样本短语;
将所述文法系数根据对应的所述当前样本短语分发至所述多个训练节点中对应的训练节点。
5.根据权利要求4所述的方法,其特征在于,所述获取所述多个训练节点分别对接收到的所述样本短语训练后得到的所述模型参数包括:
分别将所述多个训练节点各自所接收到的所述样本数据映射到与训练节点相对应的前缀树中,所述前缀树用于指示对应的所述训练节点所接收到的所述样本短语中单词的排列关系;
其中,每个所述训练节点根据对应的所述前缀树执行以下步骤:
根据所述前缀树获取所述样本短语的样本概率,其中,所述样本概率用于指示所述样本短语在所述训练节点中出现的概率;
根据所述样本短语的所述样本概率和/或与所述样本短语对应的所述文法系数得到所述样本短语的所述文法概率;
根据所述样本短语的所述文法概率获取所述样本短语的所述回退系数,以得到所述训练节点的所述模型参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610864799.8/1.html,转载请声明来源钻瓜专利网。