[发明专利]文本类型文件数据统计功能实现的批量处理方法

说明书

本发明公开了一种文本类型文件数据统计功能实现的大批量快速处理方法。首先，将数据放在某一路径(文件夹)下，获取该存放路径下文本文件生成列表list1；获取文本类型文件的文件头信息，得到数据部分的行、列信息；根据上述数据的信息生成零值矩阵count；根据文本文件的总数，设置循环，依次读取每个文本文件，读取的数据放入list2；对列表list2内的数据逐行进行分割，转成数组类型并添加至列表list3内；将list3转化为float64的数组，得到list4，将list4放入count矩阵中。最后，对矩阵count进行计算处理。本发明能够解决海量文本类型文件的数据无法高效地管理和利用的问题。

技术领域

本发明涉及数据处理技术领域，具体涉及一种文本类型文件数据统计功能实现的批量快速处理方法。

背景技术

随着大数据时代的到来，数据的快速增长了成了许多行业共同面临的机遇与挑战。通过分析大量数据，数据拥有者能够挖掘出很多频繁模式，获取到很多潜在的信息，并可以根据这些信息预测出相关行业未来的趋势和发展，从而做出相应的决策，获取大量收益。虽然通过网络，任何人都可以很方便地获取大量的数据，甚至某些专业人员也可以通过爬虫的方式更快捷且高效地抓取网络上的数据，但如何能够在拥有如此海量数据的情况下高效地管理和利用这些数据，也成了一个难题。

如专利号为201710868572.5公开的名为大规模文本信息批量结构化的方法及装置的中国专利，根据不同文本信息的目标信息项建立不同的切分和抽取规则，以配置文件形式提供规则输入接口；根据对应的切分规则和抽取规则，以流水线处理方式，依次对单个文本信息完成自动化信息抽取操作；按照目标信息项的数据类型格式和长度建立数据库关系表，将经过自动化信息抽取后的文本信息转化为结构化记录，保存到数据库关系表中，对于未能成功抽取出关键信息的文本信息，使用统计机器学习的方法从已成功抽取的结构化记录数据中推测出候选信息项，根据候选信息项及对应的文本信息和规则内容对已有规则进行修正。

发明内容

针对现有技术的不足，本发明公开一种文本类型文件数据统计功能实现的批量处理方法，能够解决海量文本类型文件的数据无法高效地管理和利用的问题。

为实现以上目的，本发明通过以下技术方案予以实现：

文本类型文件数据统计功能实现的批量处理方法，包括以下步骤

S1：获取文本类型文件的存放路径，并根据获取的存放路径读取所述存放路径文件夹下全部的文本类型文件以生成列表list1；

S2：获取文本类型文件的文件头信息，得到文件头信息以生成文本类型文件的信息描述的行数、主体数据的行数和主体数据的列数；

S3：确认得到的文本类型文件的信息描述的行数，并根据得到的文本类型文件的主体数据的行数和主体数据的列数生成零值矩阵count；

S4：依次读取列表list1内全部的文本类型文件，剔除文本类型文件的文件头信息并保留文本类型文件的主体数据以生成列表list2；

S5：生成空列表list3并对列表list2内的数据循环执行S6所述的步骤；

S6：对生成的列表list2内的每行数据进行分割，将分割生成的数据结果转换成数组格式的数据并添加至空列表list3内；

S7：转换添加有数组格式的数据列表list3的数据类型成为数组类型数据，得到list4；将list4与零值矩阵相加获得新的矩阵count，对矩阵count进行计算以实现不同文本文件之间数据的处理。

优选的技术方案，在所述步骤S1中所述的文本类型文件预先设置在同一文件夹下。

优选的技术方案，在所述步骤S1中预先采用python语言生成计算模块，根据所述的计算模块获取所述同一文件夹的存放路径。