[发明专利]一种字符集检测方法和装置有效
申请号: | 201610096192.X | 申请日: | 2016-02-22 |
公开(公告)号: | CN105760364B | 公开(公告)日: | 2018-09-04 |
发明(设计)人: | 徐佳宏;朱吕亮;陈栋 | 申请(专利权)人: | 深圳市茁壮网络股份有限公司 |
主分类号: | G06F17/27 | 分类号: | G06F17/27 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 王仲凯 |
地址: | 518004 广东省*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种字符集检测方法和装置,其中,该方法包括:接收到待处理字符集;逐一从预先存储的字符集类别集合中选取字符集类别;基于所选取字符集类别所对应的编码规则对所述待处理字符集进行解码;记录解码成功后的解码结果;对所述字符集类别集合中所有解码成功后的字符集类别所对应的解码结果进行分词,获取分词结果;基于所述分词结果确定所述待处理字符集所属的目标字符集类别;可见,本发明基于分词来确定待处理字符集所属的目标字符集类别的方式为语义检测方式,与现有技术中采用语法检测的方式相比,更为准确,提高了检测字符集类别的成功率。 | ||
搜索关键词: | 一种 字符集 检测 方法 装置 | ||
【主权项】:
1.一种字符集检测方法,其特征在于,包括:接收到待处理字符集;逐一从预先存储的字符集类别集合中选取字符集类别;基于所选取字符集类别所对应的编码规则对所述待处理字符集进行解码;记录解码成功后的解码结果;对所述字符集类别集合中所有解码成功后的字符集类别所对应的解码结果进行分词,获取分词结果;基于所述分词结果确定所述待处理字符集所属的目标字符集类别;其中,所述基于所述分词结果确定所述待处理字符集所属的目标字符集类别,包括:统计所述分词结果中可分词片段的字符数以及解码后的总字符数;计算所述可分词片段的字符数与所述解码后的总字符数的比值,生成可分词比;确定与所述可分词比最大的字符集类别为所述待处理字符集所属的目标字符集类别;或者,所述基于所述分词结果确定所述待处理字符集所属的目标字符集类别,包括:统计所述分词结果中可分词片段的字符数;确定与所述可分词片段的字符数最大的字符集类别为所述待处理字符集所属的目标字符集类别。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市茁壮网络股份有限公司,未经深圳市茁壮网络股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201610096192.X/,转载请声明来源钻瓜专利网。