[发明专利]一种基于移动互联网的数据过滤及内容评价方法和系统

说明书

本发明提出了一种基于移动互联网的数据过滤及内容评价方法和系统，属于互联网内容发送技术领域，监控访问移动互联网的移动终端用户发送访问请求时发送的数据包；监测移动终端用户向真实服务器地址发送的网页访问请求时的流量数据，对流量数据进行分析，得出流量特征；将流量特征表示拼接起来作为每条请求流量数据的最终特征表示,输入到特征流量检测模型以进行数据流量正常与否的判断，并过滤不正常的数据流量；对正常的网页访问请求的内容进行相似度评价；根据相似度从大到小的顺序构造待发送网页队列，取队列前几位的待发送网页内容向移动终端用户进行发送。

技术领域

本发明涉及互联网数据处理技术领域，具体为一种基于移动互联网的数据过滤及内容评价方法和系统。

背景技术

近年来，随着移动设备的成熟和普及，移动互联网呈现爆发式发展的趋势。各大公司和开发者都争相投入到移动开发的热潮。同时，移动应用的开发技术也随之有了迅速的发展。当前在手机等移动终端上应用搜索引擎通过移动网络进行搜索时，需要使用一定的数据流量。然而，在现在的条件下，网络服务提供商对使用者使用数据流量的收费较高，对于使用者而言负担比较大。更加重要的是，现有移动网络的网络性能指标往往不高，同时网络内容服务商提供的网络内容的数据量越来越大，使用网络搜索的客户端需要与服务器交换的数据包的数量逐渐增长，所以，使用现有的搜索服务，所使用的移动网络流量大，使用者需要等待搜索结果加载和显示的等待时间长。

同时由于移动终端用户数量庞大，要发送的消息内容的类型却有限，因此通常将一个优先信息发送到多个用户，而对于每个用户，由该用户获取的优先信息通常与该用户的实际需要不匹配。结果，在获取优先信息时，所有用户通常将选择丢弃所获取的优先信息。这不仅降低了信息搜索过程的有效性，而且还将进一步降低用户体验，从而还降低了用户的注意力。

例如现有技术中，专利文献CN114205151A公开了一种基于多特征融合学习的HTTP/2页面访问流量识别方法。该方法首先对目标HTTP/2站点在典型用户交互过程中产生的主页访问流量以及资源响应流量进行采集；对流量数据进行预处理后得到完整的TCP流；一方面使用自编码网络捕获主页访问流量的内容分布规则特征，另一方面使用递归神经网络识别资源响应流量的主体资源类别；进一步将内容分布规则特征和主体资源类别特征进行融合拼接，输入到卷积神经网络模型中，得到站点页面识别结果。该技术方案利用多条数据流作为指纹提取的基本单位，通过深度学习方法对不同类型数据流进行特征提取，并融合多特征对目标站点进行充分表征，识别精度虽高，但是前期缺少对访问流量数据的过滤，造成识别运算量过大，运算时间长。

再例如专利文献CN103607322A公开了一种网站流量数据分析方法及装置。根据分析请求获取访问流量数据和搜索引擎数据；从搜索引擎数据与搜索引擎数据中提取关键词属性；将关键词属性按照预设条件进行比对分析得到分析结果。该技术方案虽然解决了现有技术中对网站各项参数的分析不准确的问题，通过访问流量数据和搜索引擎数据之间的关系定量的对网站数据进行解读，但是该技术方案缺少信息过滤及匹配的过程，造成系统负荷较重，提高了组网复杂性。

发明内容

为了解决上述技术问题，本发明提出了一种基于移动互联网的数据过滤及内容评价方法，包括如下步骤：

S1，监控访问移动互联网的移动终端用户发送访问请求时发送的数据包；

S2，监测移动终端用户向真实服务器地址发送的网页访问请求时的流量数据，对流量数据进行分析，得出流量特征；

S3，将流量特征表示拼接起来作为每条请求流量数据的最终特征表示,输入到特征流量检测模型以进行数据流量正常与否的判断，并过滤不正常的数据流量；

S4，对正常的网页访问请求的内容进行相似度评价；具体包括：

S401、对正常的网页访问请求的内容进行平滑填充，使得请求的内容长度达到规定值；

S402、对标准长度的请求内容R进行分解：