[发明专利]一种数据处理方法及设备

说明书

技术领域

本申请涉及网络数据处理领域，特别涉及一种数据处理方法及设备。

背景技术

随着移动互联网的迅速发展，移动互联网用户不断增加，从而使网络互联中的网络数据呈指数倍数增加。面对如此庞大的网络数据，运营商在要求保证网络优化质量的前提下，对网络数据的实时性，准确性也提出了更高的要求。

网络数据一般存储在网络服务器中，网络服务器是指一个管理资源并为用户提供服务的计算机软件和硬件的集合，用于接收数据请求并对所述数据请求进行响应。

现有技术中，从厂家的网络服务器中获取网络数据进行分析，一般采用整体下载的方式，即将网络服务器中的数据文件全部下载，然后再进行数据分析，数据处理效率低。

发明内容

本申请所要解决的技术问题是提供一种数据处理方法，提升对服务器中网络数据的处理效率。

一种数据处理方法，包括：

实时扫描服务器中的数据文件；

触发流读取线程，从已扫描数据文件中读取预设的数据缓存区大小的数据流，并将所述数据流存放到本地缓存区中；

触发解析线程从所述本地缓存区中，读取数据进行解析；所述解析线程的数量至少为一个，所述解析线程与所述读取线程为预先创建的独立线程。

上述的方法，优选的，还包括：

缓存已完成解析的数据文件的文件名；

将再次扫描获得的数据文件的文件名与所述缓存的文件名进行比较；当比较相同时，对所述再次扫描获得的数据文件进行舍弃；

当比较不相同时，触发流读取线程对所述再次扫描获得的数据文件进行读取。

上述的方法，优选的，还包括：

将经过解析的文件数据缓存到内存或缓存文件中；

当缓存的文件数据的数量到达预设量值时，将缓存的文件数据作为一个数据块，将所述数据块缓存到本地缓存文件中；

当所述本地缓存文件中的文件数据达到所述本地缓存文件的容量临界值时，新建本地缓存文件。

上述的方法，优选的，还包括：

触发多个分发线程从所述本地缓存文件中读取文件数据；并按预设的分发方式进行分发。

上述的方法，优选的，所述实时扫描服务器中的数据文件，触发流读取线程，从已扫描数据文件中读取预设的数据缓存区大小的数据流，包括：

当同时扫描到多个数据文件时，依据各个数据文件的文件名对各个数据文件进行筛选；

按扫描顺序对经过筛选的数据文件进行排序；

触发流读取线程，依序从各个已扫描数据文件中读取预设的数据缓存区大小的数据流。

一种数据处理设备，包括：

扫描单元，用于实时扫描服务器中的数据文件；

第一触发单元，用于触发流读取线程，从已扫描数据文件中读取预设的数据缓存区大小的数据流，并将所述数据流存放到本地缓存区中；；

第二触发单元，用于触发解析线程从所述本地缓存区中，读取数据进行解析；所述解析线程的数量至少为一个，所述解析线程与所述读取线程为预先创建的独立线程。

上述的设备，优选的，还包括：

第一缓存单元，用于缓存已完成解析的数据文件的文件名；

比较单元，用于将再次扫描获得的数据文件的文件名与所述缓存的文件名进行比较。

上述的设备，优选的，还包括：

第二缓存单元，用于将经过解析的文件数据缓存到内存或缓存文件中。

上述的设备，优选的，还包括：

第三触发单元，用于触发多个分发线程按预设的分发方式对缓存的文件数据进行分发。

上述的设备，优选的，还包括：

筛选单元，用于当同时扫描到多个数据文件时，依据各个数据文件的文件名对各个数据文件进行筛选。

本申请实施例提供了一种数据处理方法，实时扫描服务器中的数据文件，对于扫描到的数据文件，触发流读取线程，从已扫描数据文件中读取预设的数据缓存区大小的数据流，并将所述数据流存放到本地缓存区中；触发解析线程从所述本地缓存区中，读取数据进行解析。本申请实施例中，对于扫描到的数据文件，分块进行读取，并且在读取到文件数据时，开始对读取的文件数据进行解析，文件的读取与解析同步进行，互不干扰，提升了数据处理的效率。

附图说明