[发明专利]一种数据编码类型识别及转码方法和装置

说明书

本发明提供了一种数据编码类型识别及转码方法，包括：提取用户操作产生的网络报文中的关键数据，对所述关键数据进行解码；确定所述关键数据解码后的数据对应的编码类型；根据所述编码类型，对所述关键数据解码后的数据进行转码。本发明还提供了一种数据编码类型识别及转码装置。

技术领域

本发明涉及网络安全技术，尤其涉及一种统一定位符(URL)数据的数据编码类型识别及转码方法和装置。

背景技术

随着网络技术的快速发展，越来越多的用户使用手机、计算机及平板电脑等设备上网，用户一般情况下会通过浏览器(如IE浏览器、Firefo浏览器及Chrome浏览器等)浏览网页或提交数据，或者采用网络应用软件(淘宝网软件、京东网软件以及当当网软件)提交数据。在网络安全和上网行为管理领域中，为了快速预防网络犯罪行为，常常需要获取并分析用户通过浏览器和应用软件所产生的网络数据，而大部分网络数据通常由UTF8和GB18030编码后经过URLENCODE再次编码，其中，GB18030编码又包含GBK编码和GB2312编码；因此，在还原用户数据时，需要对网络数据进行URLDECODE解码，而解码后的用户数据通常为UTF8或GB18030编码不等，故此，如何有效和准确的识别用户数据的编码类型，将用户数据展现出来，是目前亟待解决的问题。

现有的网络数据编码识别方案主要限于以下几种：

1)在用户提交表单或下载数据时，数据报文中会带有charset字样，提取charset对应的编码类型可以对数据报文进行编解码，如果未提取到charset字样的编码类型，则会采用预先设定的编码类型对数据报文进行编解码。但是，针对没有charset字样的数据报文，在没有预设的编码类型或者预设的编码类型错误的情况下，会直接造成数据乱码；并且，上述方法需要定期的更新和维护预设地编码类型，维护成本高，准确率较低。

2)通过待编码网页的参考编码数组以及本地预设的备选编码数组，确定出 包含在该参考编码数组和该备选编码数组中的一种编码类型作为待编码网页的编码类型；但这种获取数据编码类型的方法对参考编码数组和备选编码数组的依赖性较大，如果数据报文不符合该参考编码或备选编码的编码类型，则会造成数据乱码；且该方式依赖于浏览器，需要用户去选择“自动检测文字编码”选项，用户感知较强，无法达到无感知的自动检测文字编码，且需要不断的更新和维护参考编码数组和备选编码数组，成本较大。

3)通过将输入需要解码的URL字符串数按不同的编码方式进行解码，得到不同的URL字符串，再对这些不同的URL字符串按其对应的解码方式进行编码，将编码后不同的URL字符串与输入需要解码的编码后的URL字符串对比，如果编码后不同的URL字符串其中之一与输入需要解码的编码后的URL字符串相同，则输入需要解码的编码后的URL字符串的编码类型为前者的编码类型。但是，采用该编码类型识别方案，假如输入需要解码的URL字符串满足UTF8编码和GB18030编码重叠编码区间，或同时满足多种编码类型的编码范围，按照此方案中将该URL数据按多种解码方式解码，再按多种编码方式编码，则会出现多对原始URL字符串与再次编码后的数据一致的情况，当出现此情况时，将无法识别出正确的数据编码类型。

因此，目前的编码类型识别方案都存在明显的缺陷：准确率低，维护成本高，容易造成数据乱码。

发明内容

有鉴于此，本发明实施例期望提供一种数据编码类型识别及转码方法，能够提高数据编码识别的准确率，减少乱码，提高数据编码类型识别及转码效率，降低维护成本。

为达到上述目的，本发明的技术方案是这样实现的：

本发明实施例提供了一种数据编码类型识别及转码方法，所述方法包括：

提取用户操作产生的网络报文中的关键数据，对所述关键数据进行解码；

确定所述关键数据解码后的数据对应的编码类型；