[发明专利]一种基于互联网数据采集的方法

说明书

技术领域

本发明属于一种信息管理技术领域，涉及一种基于互联网数据采集的方法。

背景技术

计算机网络技术和多媒体技术的快速发展，直接推动着现代教学朝网络化、数字化的方向不断转变，极大的丰富了我们的学习资源和学习手段。同时，这种转变所带来的机遇与挑战也吸引了国内外广大学者的关注，促成了互联网数字学习行为新概念的提出以及OCW、OLI等学术或商业的教学产品的研制成功。

目前，对互联网数字学习行为的研究大都集中在数字学习的相关理论研究，即对互联网数字学习环境下的参与者成员关系以及成员活动规律进行研究，从而为学习资源的有效利用提供理论依据；互联网数字学习平台的构建，即研究如何在相关理论的基础上，使用现有技术将学习资源进行整合，从而方便用户学习使用，并通常提供一定的反馈机制；数字学习与新领域的交叉结合，即研究如何将数字学习与其他领域的现有技术相结合，从而为数字学习平台系统的构建提供技术支持。

由此可见，数字学习研究重点也逐渐从学习平台、资源的开发转向学习行为的信息采集、保存、分析上。尤其是互联网环境下学生的数字学习行为变得越来越个性化、虚拟化、协作化，呈现出与传统学习完全不同的特性。对学生学习行为进行深入全面地研究，有利于教育资源的开发；有利于教师对课程的组织；有利于对教与学做出有效的评价；有利于实验教学示范中心网络教育平台的开发。

当前对于数字学习行为的研究要么是处于底层的、表象的、辅助性的研究，在数据的收集和分析方法上还存在着一定的不足之处，真正地对数字学习行为进行系统的研究则很少。在现有的研究中，国内外学者所采取的数据收集方式大致上可以分为两种途径：调查问卷和日志获取。这两种数据收集途径的不足之处在于：调查问卷方式由于其数据来源具有较大的主观性，因此数据的准确性与调查者的自身素质和被调查者的样本数量及分布规律有着很大的关系；日志获取方式虽然其数据来源具有客观性，但是由于只能将学习资源锁定在有限的资源平台中，且无法对用户的本机操作行为进行记录分析，因而研究结果往往与资源平台的性质相关，其结论很难具有通用性。而由于受其数据收集方式的限制，现有研究对高校学生在上机学习中的一些问题没有给出令人满意的研究结论，如学生在上机学习时的学习和娱乐情况如何？学生上机的行为都有哪些？学生上机学习的效率问题等。

发明内容

本发明的目的是提供一种基于互联网数据采集的方法，该方法以高校学生的行为科学和行为理论为基础，引入代理服务器(Agent)、对应分析法等关键技术，构建了采集和保存互联网数字学习行为信息平台，应用统计学的方法分析与评价高校学生互联网数字学习行为新特征，还可将本方法延伸到大型仪器设备在线绩效评价等。

为实现上述目的，本发明的技术方案为：提供一种基于互联网数据采集的方法，该方法基于TCP/IP的可编程系统，该系统开发出操作系统的代理程序，代理系统驻留在目标系统中，监视驻留系统中发生的各类事件，并对不同类型的数据进行采集；它还可修改代理服务器的配置，控制采集的数据类型；数据类型包括基于硬件网关型数据、基础资源型数据、数据库访问型数据、网站访问型数据；其特征在于：

代理服务器部署在各个子网上，按照统一的格式，实时或定时的进行“拉入”操作；将采集到的行为数据封装、打包、存入数据仓库；在获得初始数据之后，还需要对数据进行关联处理和归一化处理，将采集到的数据转换为易于分析处理的数据形式；关联处理和归一化处理主要步骤分为去噪、关联、标记三个过程。

较佳地，该数据采集方法包括客户端数据产生及代理服务器的数据采集处理；客户端数据产生包括以下步骤：

(1)客户端启动，运行程序；

(2)与服务器端进行连接；

(3)向服务器发送校验代码，在服务器端注册此客户端；

(4)校验机器时间；

(5)客户端向操作系统注册窗口监听器、进程活动监听器以及网络监听器；

(6)运行监听器；

(7)一旦客户端得到指定类型的活动后，就按指定类型的活动方式采集用户数字学习行为的详细信息，并记录到客户端缓存，进入步骤(8)；

(8)如果监听器运行超过指定时间，则向服务器端发送用户活动记录，发送成功后，清空已发送信息的缓存记录；

服务器端工作流程：

(1)服务器端程序启动；

(2)程序初始化，包括校验时间、加载客户机身份校验数据、网络可用性校验；

(3)启动服务，开启数据接收端口，准备接受客户端数据；