[发明专利]文本编码识别方法和装置

说明书

本发明涉及一种文本编码识别方法，包括：获取待识别文本，确定待识别文本对应的多个编码种类；从待识别文本中提取字符串，根据多个编码种类分别对字符串进行编码，生成与每个编码种类对应的字符串编码结果；根据多个编码种类分别对待识别文本进行编码，生成与每个编码种类对应的文本编码结果；将每个字符串编码结果或文本编码结果与预设的多个字符库中的字符进行匹配，得到匹配字符的数量，按照匹配字符的数量对多个编码种类进行多次排序；获取多个编码种类对应的匹配字符数量最多的编码种类，根据匹配字符数量最多的编码种类对待识别文本进行编码。使得文本编码识别具备广泛的适用性，可高效地、准确地进行文本编码识别。

技术领域

本发明涉及计算机技术领域，特别是涉及一种文本编码识别方法和装置。

背景技术

伴随着互联网的快速发展，全世界的网民之间的联系越来越紧密，越来越多的人依赖于通过网络获取信息。但是由于世界各地使用多种不同的语言，而每种语言又使用多种不同的文本编码，如果不对信息进行编码识别和转换的话，就会出现乱码的问题，导致信息传递出现障碍。

传统技术中，基于文本编码范围的编码识别方法指的是基于每种文本编码的特定范围，判断信息是否在该范围之内，若是则判定该信息采用此种文本编码。但是由于各种文本编码之间往往存在重叠的部分，所以此种基于文本编码范围的编码识别方法经常会出现错误，造成乱码的问题。基于字符分布的编码识别方法的基本思路是：每种语言都有其特定的字符分布规律。所以可事先建立每种语言的字符分布模型，通过字符分布模型对信息进行编码识别，此种方法的问题在于，不仅难以避免不出现识别错误，还会花费大量的时间，效率低下。

发明内容

基于此，有必要针对上述问题，提供一种能高效地、准确地进行文本编码识别的文本编码识别方法和装置。

一种文本编码识别方法，所述方法包括：

获取待识别文本，确定所述待识别文本对应的多个编码种类；

从所述待识别文本中提取字符串，根据所述多个编码种类分别对所述字符串进行编码，生成与每个编码种类对应的字符串编码结果；

将每个所述字符串编码结果与预设样本库中的字符进行匹配，得到匹配字符的数量，按照匹配字符的数量对所述多个编码种类进行第一次排序；

将每个所述字符串编码结果与预设全字符库中的字符进行匹配，得到匹配字符的数量，按照匹配字符的数量对所述多个编码种类进行第二次排序；

根据所述多个编码种类分别对所述待识别文本进行编码，生成与每个编码种类对应的文本编码结果；

将每个所述文本编码结果与所述预设全字符库中的字符进行匹配，得到匹配字符的数量，按照匹配字符的数量对所述多个编码种类进行第三次排序；

获取所述多个编码种类对应的匹配字符数量最多的编码种类，根据所述匹配字符数量最多的编码种类对所述待识别文本进行编码。

一种文本编码识别装置，所述装置包括：

编码种类确定模块，用于获取待识别文本，确定所述待识别文本对应的多个编码种类；

编码结果生成模块，用于从所述待识别文本中提取字符串，根据所述多个编码种类分别对所述字符串进行编码，生成与每个编码种类对应的字符串编码结果；

排序模块，用于将每个所述字符串编码结果与预设样本库中的字符进行匹配，得到匹配字符的数量，按照匹配字符的数量对所述多个编码种类进行第一次排序；用于将每个所述字符串编码结果与预设全字符库中的字符进行匹配，得到匹配字符的数量，按照匹配字符的数量对所述多个编码种类进行第二次排序；

所述编码结果生成模块还用于根据所述多个编码种类分别对所述待识别文本进行编码，生成与每个编码种类对应的文本编码结果；