[发明专利]文本识别方法、装置、及计算机设备在审
申请号: | 201811011026.0 | 申请日: | 2018-08-31 |
公开(公告)号: | CN109344396A | 公开(公告)日: | 2019-02-15 |
发明(设计)人: | 向彪;周俊;李小龙 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F17/27 | 分类号: | G06F17/27;G06F16/903 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 林祥 |
地址: | 英属开曼群岛大开*** | 国省代码: | 开曼群岛;KY |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 字符串 文本 概率 文本识别 计算机设备 预先确定 预设 样本 查询 | ||
1.一种文本识别方法,该方法包括:
获得待识别文本,其中,所述待识别文本包含N个字符,N>1;
从所述待识别文本中,提取若干个字符串;每个字符串均为在所述待识别文本中连续出现的字符串,所述若干个字符串至少包括:N-k+1个长度为k的字符串,k为预设的提取长度;
针对所述待识别文本中任一个字符串i,在预先确定的样本概率中查询该字符串i对应的概率:在前Li-1个字符出现的条件下,字符串i出现的概率,Li为字符串i的长度,2≤Li≤k;
计算各个字符串对应的概率之和,根据计算结果确定所述待识别文本是否异常。
2.根据权利要求1所述的方法,所述若干个字符串还包括:
k-2个字符串:第i个字符串由所述待识别文本中的前(i+1)个字符组成。
3.根据权利要求2的所述的方法,所述若干个字符串还包括:
所述待识别文本中第1个字符,其中,所述第一个字符对应的概率为所述第1个字符出现的概率。
4.根据权利要求1所述的方法,所述样本概率通过以下方式预先确定:
采集多个样本文本;
针对任一个所述样本文本,从所述样本文本中,提取若干个字符串;每个字符串均为在所述样本文本中连续出现的字符串,所述若干个字符串至少包括:N-k+1个长度为k的字符串;
针对所述样本文本中任一个字符串j,计算该字符串j对应的样本概率:在前Lj-1个字符出现的条件下,字符串j出现的概率,Lj为字符串j的长度,2≤Lj≤k。
5.根据权利要求4所述的方法,所述根据计算结果确定所述待识别文本是否异常包括:
计算所述概率之和与所述概率之和对应字符串的个数的商;
比较所述商与预设数值,若所述商小于所述预设数值,确定所述待识别文本异常。
6.根据权利要求5所述的方法,所述预设数值通过以下方式预先确定:
计算各个字符串的样本概率之和与所述样本概率之和对应字符串的个数的商;
对所述多个样本文本对应的商从大到小排序;
在排序后的商中取预设分位点的商作为所述预设数值。
7.根据权利要求1至6中任一项所述的方法,所述方法还包括:
若在预先确定的样本概率中未查询到该字符串i对应的概率,将该字符串i对应的概率设置为预设概率,其中,所述预设概率小于或等于所述样本概率中最小的概率。
8.根据权利要求1至6中任一项所述的方法,所述计算各个字符串的概率之和包括:
针对各个字符串对应的概率取对数;
计算各个字符串对应的概率的对数之和。
9.一种文本识别装置,该装置包括:
文本获取模块,用于获得待识别文本,其中,所述待识别文本包含N个字符,N>1;
字符串提取模块,用于从所述待识别文本中,提取若干个字符串;每个字符串均为在所述待识别文本中连续出现的字符串,所述若干个字符串至少包括:N-k+1个长度为k的字符串,k为预设的提取长度;
概率查询模块,用于针对所述待识别文本中任一个字符串i,在预先确定的样本概率中查询该字符串i对应的概率:在前Li-1个字符出现的条件下,字符串i出现的概率,Li为字符串i的长度,2≤Li≤k;
异常确定模块,用于计算各个字符串对应的概率之和,根据计算结果确定所述待识别文本是否异常。
10.根据权利要求9所述的装置,所述若干个字符串还包括:
k-2个字符串:第i个字符串由所述待识别文本中的前(i+1)个字符组成。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811011026.0/1.html,转载请声明来源钻瓜专利网。