[发明专利]一种基于互联网数据采集的方法

摘要

本发明公开了一种基于互联网数据采集的方法，该方法代理服务器部署在各个子网上，按照统一的格式，实时或定时的进行“拉入”操作；将采集到的行为数据封装、打包、存入数据仓库；在获得初始数据之后，还需要对数据进行关联处理和归一化处理，将采集到的数据转换为易于分析处理的数据形式；关联处理和归一化处理主要步骤分为去噪、关联、标记三个过程。该方法以高校学生的行为科学和行为理论为基础，引入代理服务器(Agent)、对应分析法等关键技术，构建了采集和保存互联网数字学习行为信息平台。

主权项

一种基于互联网数据采集的方法，该方法基于TCP/IP的可编程系统，该系统开发出操作系统的代理程序，代理系统驻留在目标系统中，监视驻留系统中发生的各类事件，并对不同类型的数据进行采集；它还可修改代理服务器的配置，控制采集的数据类型；数据类型包括基于硬件网关型数据、基础资源型数据、数据库访问型数据、网站访问型数据；其特征在于：代理服务器部署在各个子网上，按照统一的格式，实时或定时的进行“拉入”操作；将采集到的行为数据封装、打包、存入数据仓库；在获得初始数据之后，还需要对数据进行关联处理和归一化处理，将采集到的数据转换为易于分析处理的数据形式；关联处理和归一化处理主要步骤分为去噪、关联、标记三个过程。