[发明专利]字符编码识别方法及装置

说明书

本发明提供一种字符编码识别方法及装置，该方法包括：获取待识别文本；根据所述待识别文本和预设的编码方式识别模型获得符合所述待识别文本的编码方式；根据获得的所述编码方式对所述待识别文件进行解码，获得解码结果。本发明实施例提供一种字符编码识别方法及装置，通过对获取到的待识别文本，根据待识别文本和编码方式识别模型获得待识别文本对应于预设的各个编码方式的符合概率值，从符合概率值中确定符合待识别文本的编码方式，然后进行解码获得解码结果，从而达到无需人为设定编码方式及匹配编码方式所需的特征序列，减少了工作量，灵活性强。

技术领域

本发明实施例涉及信息处理技术领域，尤其涉及一种字符编码识别方法及装置。

背景技术

在计算机信息技术领域，字符编码是一项基本技术。字符编码也称字集码，是把字符集中的字符编码为指定集合中某一对象，以便文本在计算机中存储和通过通信网络的传递。计算机中储存的信息都是用二进制数表示的，而要想让用户看得懂，必须按照某一字符集通过字符编码的方式进行转换。常见的编码方式主要有UTF-8、GB2312、GBK、BIG5等。通常，不同语种有其相对应的适用编码，如ISO-8859-1主要用于表示拉丁字符，GBK、GB2312常用于简体中文，而BIG5常用于繁体中文。

在计算机存储和展示信息时，由于信息缺失或被修改有时无法获取正确的编码方式，导致无法正常应用。因此，识别字符编码的方法和系统非常重要。常用的识别方法有三种：(1)根据编码范围确定，每种编码有自己的使用范围，但当存在大量的编码重合点时这种方法将会失效。(2)使用特征匹配，用词典中的关键词或人工定义的特征去匹配当前信息，一旦匹配成功即可确定。但如果匹配不成功则无法确定。(3)字符分布法，事先建立字符的概率模型，根据模型计算当前字符分布的概率来判断归属情况。这种方法对于有特定词语使用习惯、篇幅过短的编码信息效果有限。

发明内容

本发明实施例提供一种字符编码识别方法及装置，用于解决现有技术中编码方式依赖人工设定，灵活性差的问题。

第一方面，本发明实施例提供一种字符编码识别方法，包括：

获取待识别文本；

根据所述待识别文本和预设的编码方式识别模型获得符合所述待识别文本的编码方式；

根据获得的所述编码方式对所述待识别文件进行解码，获得解码结果。

可选地，所述根据所述待识别文本和预设的编码方式识别模型获得符合所述待识别文本的编码方式，包括：

将所述待识别文本发送到所述编码方式识别模型中进行计算获得所述待识别文本对应于预设的各个编码方式的符合概率值；

根据所述符合概率值确定符合所述待识别文本的编码方式。

可选地，所述根据所述待识别文本和预设的编码方式识别模型获得符合所述待识别文本的编码方式，包括：

从所述待识别文本中选取多个文本段；

将每个文本段发送到所述编码方式识别模型中进行计算获得各个文本段对应于预设的各个编码方式的符合概率值，根据所述符合概率值确定符合各个文本段的编码方式；

根据各个文本段的编码方式确定所述待识别文本的编码方式。

可选地，根据所述符合概率值确定符合所述待识别文本的编码方式，包括：根据所述符合概率值中选取最大概率值；将所述最大概率值对应的编码方式作为符合所述待识别文本的编码方式。

第二方面，本发明实施例提供一种字符编码识别装置，包括：

获取模块，用于获取待识别文本；

处理模块，用于根据所述待识别文本和预设的编码方式识别模型获得符合所述待识别文本的编码方式；