[发明专利]分光数据的处理方法及相关装置

说明书

本申请涉及通信技术领域，提供了一种分光数据的处理方法及相关装置。用以解决处理IPTV平台分光数据时耗费大量资源和时间的问题。首先，查询网络抓取工具的组件接口，基于查询到的组件接口调用网络抓取工具抓取目标进程的超文本传输协议通信数据包，然后，从超文本传输协议通信数据包中过滤出目标方法数据，再基于页面置换算法，从目标方法数据获取目标数据，最后，将目标数据输出到分布式流媒体平台集群。本申请能够在IPTV分光数据上使用LRU算法进行数据采集与分析，能准确输出目标结果数据，过滤无效数据，进一步提升了数据的实用性与业务使用性，提高了分光数据的处理效率。

技术领域

本申请涉及通信技术领域，尤其涉及一种分光数据的处理方法及相关装置。

背景技术

随着通信技术的发展，运营商需要处理的数据也变得越来越多。

目前交互式网络电视(Internet Protocol Television，IPTV)平台上聚集了大量运营商业务，现有技术中，绝大部分运营商分光数据采用超文本传输协议(Hyper TextTransfer Protocol，HTTP)进行数据交互，单独对每个运营商的数据进行分析和采集需要耗费大量服务资源以及漫长的数据对接周期。

因此，如何更好地解决IPTV分光数据的采集与分析成为业界关注的问题。

发明内容

本申请的目的是提供一种分光数据的处理方法及相关装置，用以解决处理IPTV平台分光数据时耗费大量资源和时间的问题。

第一方面，本申请提供一种分光数据的处理方法，所述方法包括：

查询网络抓取工具的组件接口；

基于查询到的组件接口调用所述网络抓取工具抓取目标进程的超文本传输协议通信数据包；

从所述超文本传输协议通信数据包中过滤出目标方法数据；

基于页面置换算法，从所述目标方法数据获取目标数据；

将所述目标数据输出到分布式流媒体平台集群。

在一些实施例中，所述基于查询到的组件接口调用所述网络抓取工具抓取目标进程的超文本传输协议通信数据包，具体包括：

基于所述目标数据的指定超文本传输协议，调用所述网络抓取工具抓取目标进程的超文本传输协议通信数据包。

在一些实施例中，所述从所述超文本传输协议通信数据包中过滤出目标方法数据，具体包括：

基于所述目标数据的指定目标方法，从所述超文本传输协议通信数据包中过滤出目标方法数据。

在一些实施例中，所述目标数据分包传输，所述基于页面置换算法，从所述目标方法数据获取目标数据，具体包括：

分离所述目标方法数据的协议头及协议体，过滤出所述协议体数据；

基于页面置换算法，对所述协议体数据建立流表，所述流表用于保存所述协议体数据的上下文关系；

基于所述流表中记录的上下文关系重构出所述目标数据。

在一些实施例中，所述流表中保存有所述目标数据的整包标识以及所述目标数据的分包标识以及所述目标数据的分包数量信息，所述基于所述流表中记录的上下文关系重构出所述目标数据，具体包括：

基于所述整包标识识别出所述目标数据的所有分包；

基于各个分包的分包标识和所述分包数量信息确定所述目标数据的所有分包是否收集完毕；

若收集完毕，则基于各个分包的分包标识重构出所述目标数据。

在一些实施例中，所述方法还包括：