[发明专利]文件数据特征抽取方法及装置、计算设备

权利要求书

1.一种文件数据特征抽取方法，包括：

读取文件数据的数据量信息，根据预设分片数据量，对文件数据进行分片并确定每一个文件数据分片的起始位置和截止位置；

根据分片数量启动相应数量的线程，为每一线程分配待读取的文件数据分片，以使每一线程从所分配的文件数据分片的起始位置开始逐行读取并进行特征值计算，直至读取位置超过文件数据分片的截止位置而结束；

对所有线程的计算结果进行汇总，得到文件数据的特征输出结果。

2.根据权利要求1所述的方法，所述每一线程从所分配的文件数据分片的起始位置开始逐行读取进一步包括：

每一线程根据所分配的文件数据分片的起始位置确定待读取的文件数据分片的首行数据；

判断首行数据的列数是否等于文件数据的总列数；

若是，从首行数据开始逐行读取并进行特征值计算；

若否，从第二行数据开始逐行读取并进行特征值计算。

3.根据权利要求1或2所述的方法，在根据所述分片数量启动相应数量的线程之前，所述方法还包括：读取所述文件数据的任一行数据，筛选出符合规则的各行数据；

每一线程从所分配的文件数据分片的起始位置开始逐行读取并进行特征值计算具体为：每一线程从所分配的文件数据分片的起始位置开始逐行读取符合规则的各行数据并进行特征值计算。

4.根据权利要求3所述的方法，所述读取所述文件数据的任一行数据，筛选出符合规则的各行数据具体为：

读取所述文件数据的任一行数据，从中识别出非数值字段的至少一列，从文件数据中过滤掉所述至少一列的列数据，得到符合规则的各行数据。

5.根据权利要求4所述的方法，所述读取所述文件数据的任一行数据具体为：读取所述文件数据的首行数据。

6.一种文件数据特征抽取装置，包括：

分片模块，适于读取文件数据的数据量信息，根据预设分片数据量，对文件数据进行分片并确定每一个文件数据分片的起始位置和截止位置；

执行模块，适于根据分片数量启动相应数量的线程，为每一线程分配待读取的文件数据分片，以使每一线程从所分配的文件数据分片的起始位置开始逐行读取并进行特征值计算，直至读取位置超过文件数据分片的截止位置而结束；

汇总模块，适于对所有线程的计算结果进行汇总，得到文件数据的特征输出结果。

7.根据权利要求6所述的装置，所述执行模块进一步适于：

每一线程根据所分配的文件数据分片的起始位置确定待读取的文件数据分片的首行数据；

判断首行数据的列数是否等于文件数据的总列数；

若是，从首行数据开始逐行读取并进行特征值计算；

若否，从第二行数据开始逐行读取并进行特征值计算。

8.根据权利要求6或7所述的装置，还包括：筛选模块，适于读取所述文件数据的任一行数据，筛选出符合规则的各行数据；

所述执行模块进一步适于：每一线程从所分配的文件数据分片的起始位置开始逐行读取符合规则的各行数据并进行特征值计算。

9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-5中任一项所述的文件数据特征抽取方法对应的操作。

10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-5中任一项所述的文件数据特征抽取方法对应的操作。