[发明专利]一种基于特定字符串查找的简体中文编码方式自动识别系统及方法有效
| 申请号： | 201910488932.8 | 申请日： | 2019-06-06 |
| 公开（公告）号： | CN110196968B | 公开（公告）日： | 2023-04-07 |
| 发明（设计）人： | 蒋东辰;贾婉华;牛颖 | 申请（专利权）人： | 北京林业大学 |
| 主分类号： | G06F40/126 | 分类号： | G06F40/126;G06F40/279;G06F40/216;G06F16/903 |
| 代理公司： | 北京科迪生专利代理有限责任公司 11251 | 代理人： | 安丽 |
| 地址： | 100083 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种基于特定字符串查找的简体中文编码方式自动识别系统及方法，包括：字符串集合设置模块及中文文本编码识别模块，其中：字符串集合设置模块：用于设置GB 18030和UTF8的排他字符串集合，及GB 18030编码和UTF8编码的高概率字符串集合；中文文本编码识别模块：根据GB 18030编码和UTF8编码的排他字符串集合的逻辑属性和高概率字符串集合的概率属性识别目标文本的简体中文编码方式。能够通过对几个常用汉字特定编码字符串的查找，快速确定简体中文文本的编码方式；既适用于浏览器、网页爬虫等软件快速识别简体中文网页的编码方式，也可用于对未知中文文本编码方式的自动识别。本发明对于网页自动显示、文本信息提取、中文文本语义分析等方面具有重要的应用价值。 | ||
| 搜索关键词： | 一种 基于 特定 字符串 查找 简体中文 编码 方式 自动识别 系统 方法 | ||
【主权项】：
1.一种基于特定字符串查找的简体中文编码方式自动识别系统，其特征在于，包括：字符串集合设置模块及中文文本编码识别模块，其中：字符串集合设置模块：用于设置GB18030和UTF8的排他字符串集合，及GB18030编码和UTF8编码的高概率字符串集合；根据中文字符的字频分布，从频率最高的中文字符开始，按频率顺序选择字频最高若干的中文汉字、中文标点作为备用字符；然后，根据这些中文字符的GB18030编码和UTF8编码，分别确定这些字符的前超字、后超字、前超子字、后超子字、前子字和后子字；最后基于上述字符的前超字、后超字、前超子字、后超子字、前子字和后子字与GB18030编码、UTF8编码的对应关系，得到设置的GB18030编码和UTF8编码的排他字符串集合，及GB18030编码和UTF8编码的高概率字符串集合；中文文本编码识别模块：根据GB18030和UTF8的排他字符串集合以及GB18030编码和UTF8编码的高概率字符串集合，确定目标文本的中文编码方式；如果目标文本为网页文本，首先通过查找<head>标签的<meta>标签中是否具有“charset”及具体编码方式字段来确定文本编码方式；如果在目标文本中不存在该字段或目标文本为非网页的中文文本，则根据GB18030编码和UTF8编码的排他字符串集合的逻辑属性识别网页文本的简体中文编码方式；如果仍然不能确定，再根据GB18030编码和UTF8编码的高概率字符串集合的概率属性识别目标文本的简体中文编码方式；如果仍然不能识别，最后再调用其他现有识别方法，最终获得目标文本的中文编码方式。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京林业大学，未经北京林业大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910488932.8/，转载请声明来源钻瓜专利网。
