[发明专利]一种字符集检测方法和装置

权利要求书

1.一种字符集检测方法，其特征在于，包括：

接收到待处理字符集；

逐一从预先存储的字符集类别集合中选取字符集类别；

基于所选取字符集类别所对应的编码规则对所述待处理字符集进行解码；

记录解码成功后的解码结果；

对所述字符集类别集合中所有解码成功后的字符集类别所对应的解码结果进行分词，获取分词结果；

基于所述分词结果确定所述待处理字符集所属的目标字符集类别；

其中，所述基于所述分词结果确定所述待处理字符集所属的目标字符集类别，包括：统计所述分词结果中可分词片段的字符数以及解码后的总字符数；计算所述可分词片段的字符数与所述解码后的总字符数的比值，生成可分词比；确定与所述可分词比最大的字符集类别为所述待处理字符集所属的目标字符集类别；

或者，所述基于所述分词结果确定所述待处理字符集所属的目标字符集类别，包括：统计所述分词结果中可分词片段的字符数；确定与所述可分词片段的字符数最大的字符集类别为所述待处理字符集所属的目标字符集类别。

2.根据权利要求1所述的字符集检测方法，其特征在于，所述对所述字符集类别集合中所有解码成功后的字符集类别所对应的解码结果进行分词，获取分词结果，具体为：

基于预先存储的词库，采用最大正向匹配法对所述字符集类别集合中所有解码成功后的字符集类别所对应的解码结果进行分词。

3.根据权利要求1所述的方法，其特征在于，所述接收到待处理字符集之后，还包括：

判断所述待处理字符集中是否标明有所述待处理字符集所属字符集类别；

所述逐一从预先存储的字符集类别集合中选取字符集类别，具体为：

在确定所述待处理字符集中未标明有所述待处理字符集所属字符集类别时，逐一从预先存储的字符集类别集合中选取字符集类别。

4.一种字符集检测装置，其特征在于，包括：

第一接收单元，用于接收到待处理字符集；

第一选取单元，用于逐一从预先存储的字符集类别集合中选取字符集类别；

第一解码单元，用于基于所选取的字符集类别所对应的编码规则对所述待处理字符集进行解码；

第一记录单元，用于记录解码成功后的解码结果；

分词获取单元，用于对所述字符集类别集合中所有解码成功后的字符集类别所对应的解码结果进行分词，获取分词结果；

确定类别单元，用于基于所述分词结果确定所述待处理字符集所属的目标字符集类别；

其中，所述确定类别单元，包括：第一统计模块，用于统计所述分词结果中可分词片段的字符数以及解码后的总字符数；计算生成模块，用于计算所述可分词片段的字符数与所述解码后的总字符数的比值，生成可分词比；第一确定模块，用于确定与所述可分词比最大的字符集类别为所述待处理字符集所属的目标字符集类别；

或者，所述确定类别单元，包括：第二统计模块，用于统计所述分词结果中可分词片段的字符数；第二确定模块，用于确定与所述可分词片段的字符数最大的字符集类别为所述待处理字符集所属的目标字符集类别。

5.根据权利要求4所述的字符集检测装置，其特征在于，所述分词获取单元，具体基于预先存储的词库，采用最大正向匹配法对所述字符集类别集合中所有解码成功后的字符集类别所对应的解码结果进行分词，获取分词结果。

6.根据权利要求4所述的字符集检测装置，其特征在于，该装置还包括：

第一判断单元，用于判断所述待处理字符集中是否标明有所述待处理字符集所属字符集类别；

所述第一选取单元具体用于在确定所述待处理字符集中未标明有所述待处理字符集所属字符集类别时，逐一从预先存储的字符集类别集合中选取字符集类别。