[发明专利]一种数据处理方法及设备

权利要求书

1.一种数据处理方法，其特征在于，包括：

实时扫描服务器中的数据文件；

触发流读取线程，从已扫描数据文件中读取预设的数据缓存区大小的数据流，并将所述数据流存放到本地缓存区中；

触发解析线程从所述本地缓存区中，读取数据进行解析；所述解析线程的数量至少为一个，所述解析线程与所述读取线程为预先创建的独立线程。

2.根据权利要求1所述的方法，其特征在于，还包括：

缓存已完成解析的数据文件的文件名；

将再次扫描获得的数据文件的文件名与所述缓存的文件名进行比较；当比较相同时，对所述再次扫描获得的数据文件进行舍弃；

当比较不相同时，触发流读取线程对所述再次扫描获得的数据文件进行读取。

3.根据权利要求1所述的方法，其特征在于，还包括：

将经过解析的文件数据缓存到内存或缓存文件中；

当缓存的文件数据的数量到达预设量值时，将缓存的文件数据作为一个数据块，将所述数据块缓存到本地缓存文件中；

当所述本地缓存文件中的文件数据达到所述本地缓存文件的容量临界值时，新建本地缓存文件。

4.根据权利要求3所述的方法，其特征在于，还包括：

触发多个分发线程从所述本地缓存文件中读取文件数据；并按预设的分发方式进行分发。

5.根据权利要求1所述的方法，其特征在于，所述实时扫描服务器中的数据文件，触发流读取线程，从已扫描数据文件中读取预设的数据缓存区大小的数据流，包括：

当同时扫描到多个数据文件时，依据各个数据文件的文件名对各个数据文件进行筛选；

按扫描顺序对经过筛选的数据文件进行排序；

触发流读取线程，依序从各个已扫描数据文件中读取预设的数据缓存区大小的数据流。

6.一种数据处理设备，其特征在于，包括：

扫描单元，用于实时扫描服务器中的数据文件；

第一触发单元，用于触发流读取线程，从已扫描数据文件中读取预设的数据缓存区大小的数据流，并将所述数据流存放到本地缓存区中；

第二触发单元，用于触发解析线程从所述本地缓存区中，读取数据进行解析；所述解析线程的数量至少为一个，所述解析线程与所述读取线程为预先创建的独立线程。

7.根据权利要求6所述的设备，其特征在于，还包括：

第一缓存单元，用于缓存已完成解析的数据文件的文件名；

比较单元，用于将再次扫描获得的数据文件的文件名与所述缓存的文件名进行比较。

8.根据权利要求6所述的设备，其特征在于，还包括：

第二缓存单元，用于将经过解析的文件数据缓存到内存或缓存文件中。

9.根据权利要求8所述的设备，其特征在于，还包括：

第三触发单元，用于触发多个分发线程按预设的分发方式对缓存的文件数据进行分发。

10.根据权利要求6所述的设备，其特征在于，还包括：

筛选单元，用于当同时扫描到多个数据文件时，依据各个数据文件的文件名对各个数据文件进行筛选。