[发明专利]一种自动识别流量并提取应用规则的方法及装置

摘要

一种自动识别流量并提取应用规则的装置涉及信息技术领域，尤其是网络监管的流量自动识别领域。本发明由流量分类模块、流量过滤模块、http流量自动学习分析模块、非http流量特征提取模块组成；流量分类模块由流量对比器和http流量特征表组成；流量过滤模块由流量过滤器、流量规则指纹库组成；http流量自动学习分析模块由流量类型判断模块、特征字符串匹配分析器、域名和网页title分析器、服务器ip地址分析器组成；非http流量特征提取模块由非http流量记录器和16进制特征转换器组成。本发明在没有提供流量模型指纹的情况下可以实现通过自动学习分析网络流量识别出网络应用流量类型，并且自动学习到的流量特征能生成规则特征库。本发明的推广可以减少人员的工作量，提高工作效率。

主权项

1.一种自动识别流量并提取应用规则的装置，其特征在于由流量分类模块、流量过滤模块、http流量自动学习分析模块、非http流量特征提取模块组成；流量分类模块由流量对比器和http流量特征表组成；流量过滤模块由流量过滤器、流量规则指纹库组成；http流量自动学习分析模块由流量类型判断模块、特征字符串匹配分析器、域名和网页title分析器、服务器ip地址分析器组成；非http流量特征提取模块由非http流量记录器和16进制特征转换器组成；本发明的具体实现步骤包括：1）网络应用流量的分类①流量分类模块读取网络应用流量，根据http流量特征表由流量对比器将网络应用流量分成http流量和非http流量，并将http流量和非http流量发送给流量过滤器；②http流量特征表包括三部分，分别是：http的标准头部特征，http的标准字段和http的独有属性；http的标准头部特征为http.request.method，其值包括：GET，POST，HEAD，PUT，DELETE，OPTIONS，CONNECT，TRACE，PATCH，MOVE，COPY，LINK，UNLINK，WRAPPED，Extension‑mothed；http的标准字段是http请求时，流量的头部特征，包括：Referer:，rf:，Origin:，Content‑Type:，User‑Agent:，Host:，userToken:，Cookie:，Q‑UA2:，Q‑GUID:，QQ‑S‑ZIP:，Apn‑Type:，Date:，Pragma:，Range:，Location:，Server:，Last‑modified:，PostData；http的独有属性就是针对特殊应用独有的http的标准字段，例如：qyi‑id是爱奇艺http流量独有的，qqread是腾讯阅读http流量独有的；③流量对比器提取网络应用流量的IP、端口、报文长度、协议类型、内容，并将所提取的内容与http流量特征表比对，当网络应用流量的内容属于http流量特征表所记录的内容时，标记网络应用流量为http流量，流量对比器将http流量发送给流量过滤器；④流量对比器提取网络应用流量的IP、端口、报文长度、协议类型、内容，并将所提取的内容与http流量特征表比对，当网络应用流量的内容不属于http流量特征表所记录的内容时，标记网络应用流量为非http流量，流量对比器将非http流量发送给流量过滤器；2）网络应用流量的过滤①流量过滤器接收http流量并提取http流量的内容与流量规则指纹库中的http流量规则指纹集合对比，当http流量的内容在http流量规则指纹集合中有记录时放弃http流量；当http流量的内容在http流量规则指纹库集合中没有记录时标记http流量为未匹配的http流量；流量过滤器将未匹配的http流量发送给流量类型判断模块；②流量过滤器接收非http流量并提取非http流量的IP、端口、报文长度、协议类型、内容，流量过滤器使用16进制特征转换器将非http流量的IP、端口、报文长度、协议类型、内容转换成16进制的非http流量特征指纹；流量过滤器将非http流量特征指纹与流量规则指纹库中的非http流量规则指纹集合对比，当非http流量特征指纹在非http流量规则指纹集合中有记录时放弃非http流量；当非http流量特征指纹在非http流量规则指纹库集合中没有记录时标记非http流量为未匹配的非http流量；流量过滤器将未匹配的非http流量发送给非http流量记录器；3）http流量自动学习生成 http流量规则指纹①流量类型判断模块接收未匹配的http流量并解析未匹配的http流量，当未匹配的http流量中包含域名字符串，流量类型判断模块将未匹配的http流量发送给域名和网页title分析器；域名的自动化判断方法为：1.中文域名格式为： *.中国，*.公司，*.网络，*必须含中文，.必须是英文输入法下的点号；2.不超过20个字符，且只能包括字符、数字、和破折号，破折号不能在开始和结尾，不能有两个连续的破折号；3.英文域名以.cn结尾的纯英文域名，格式为：*.cn，*必须是英文；②流量类型判断模块预设有app应用商店的软件包名录和规则特征字符串池以及服务器IP地址集；app应用商店的软件包名录来源于网络采集；规则特征字符串池中的规则特征字符串来源于网络监管方已知网络应用流量的特征；服务器IP地址集来源于网络监管方已知的服务器IP地址；③流量类型判断模块接收未匹配的http流量并解析未匹配的http流量，当未匹配的http流量中包含有app应用商店的软件包名并且app应用商店的软件包名在app应用商店的软件包名录中有记录时，流量类型判断模块将未匹配的http流量发送给特征字符串匹配分析器；④流量类型判断模块接收未匹配的http流量并解析未匹配的http流量，当未匹配的http流量中包含有规则特征字符串池中的规则特征字符串时，流量类型判断模块将未匹配的http流量发送给特征字符串匹配分析器；⑤ 流量类型判断模块接收未匹配的http流量并解析未匹配的http流量，当未匹配的http流量中包含服务器IP地址集中的IP地址时，流量类型判断模块将未匹配的http流量发送给服务器IP地址分析器；⑥域名和网页title分析器通过浏览器模拟访问未匹配的http流量中的域名，提取网页title记录为模拟访问的流量对应的协议名，域名和网页title分析器调用正则域名表达式模板，生成http域名正则表达式，并将未匹配的http流量中的域名及对应模拟访问记录的协议名生成的http域名正则表达式；域名和网页title分析器将http域名正则表达式作为http流量规则指纹发送给流量规则指纹库的http流量规则指纹集合存储；⑦特征字符串匹配分析器将未匹配的http流量的特征字符串对应的协议名生成http的特征字符串正则表达式；特征字符串匹配分析器将未匹配的http流量的app应用商店的软件包名生成http的特征字符串正则表达式，app应用商店的软件包名当作协议名处理；特征字符串匹配分析器将http的特征字符串正则表达式作为http流量规则指纹发送给流量规则指纹库的http流量规则指纹集合存储；⑧服务器ip地址分析器使用未匹配的http流量包含的服务器ip地址，在应用服务器ip地址与应用协议名映射表中查询对应的协议名，当未匹配的http流量包含的服务器ip地址在应用服务器ip地址与应用协议名映射表中有记录时，将未匹配的http流量包含的服务器ip地址和对应的协议名生成http服务器ip地址规则表达式，服务器ip地址分析器将http服务器ip地址规则表达式作为http流量规则指纹发送给流量规则指纹库的http流量规则指纹集合存储；当未匹配的http流量包含的服务器ip地址在应用服务器ip地址与应用协议名映射表中没有记录时，通过浏览器模拟器拨测未匹配的http流量包含的服务器ip地址，记录返回流量的协议名，将未匹配的http流量包含的服务器ip地址与返回流量的协议名对应记录到应用服务器ip地址与应用协议名映射表中，并将未匹配的http流量包含的服务器ip地址与返回流量的协议名生成http服务器ip地址规则表达式，服务器ip地址分析器将http服务器ip地址规则表达式作为http流量规则指纹发送给流量规则指纹库的http流量规则指纹集合存储；4）非http流量特征转换生成流量规则指纹①非http流量记录器接收未匹配的非http流量并解析出IP、端口、报文长度、协议类型、内容；②非非http流量记录器将未匹配的非http流量并解析出IP、端口、报文长度、协议类型、内容发送给16进制特征转换器；16进制特征转换器将未匹配的非http流量解析出的IP、端口、报文长度、协议类型、内容转换成非http流量特征指纹；③16进制特征转换器将非http流量特征指纹传送给非http流量规则指纹集合存储。