[发明专利]文件读取方法和装置

说明书

技术领域

本发明涉及大数据领域，具体而言，涉及一种文件读取方法和装置。

背景技术

现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。大数据导致了大文件的产生，而大文件的读取与之前的小文件的处理相比是有问题的。

例如，在某些特殊的行业中，经常需要面对十几GB乃至几十TB容量的巨型文件，而一个32位进程所拥有的虚拟地址空间只有4G，显然不能一次性将文件全部加载到内存中。

又例如，如果文件比较大，在将文件的内容读取到数据库中也会存在问题。

针对上述由于文件比较大而导致的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种文件读取方法和装置，以至少解决由于文件比较大而导致的技术问题。

根据本发明实施例的一个方面，提供了一种文件读取方法，包括：读取步骤，以流的方式从文件中按照缓存区的大小读取预定长度的数据；缓存步骤，将读取到的数据放在缓存区进行缓存；预处理步骤，根据预先配置的预处理要求对缓存的数据进行预处理以得到数据的内容；导入步骤，将数据的内容保存至数据平台；循环依次执行读取步骤、缓存步骤、预处理步骤以及导入步骤完成对文件的读取。

根据本发明实施例的另一方面，还提供了一种文件读取装置，包括：读取模块，用于执行读取步骤，以流的方式从文件中按照缓存区的大小读取预定长度的数据；缓存模块，用于执行缓存步骤，将读取到的数据放在缓存区进行缓存；预处理模块，用于执行预处理步骤，根据预先配置的预处理要求对缓存的数据进行预处理以得到数据的内容；导入模块，用于执行导入步骤，将数据的内容保存至数据平台。

在本发明实施例中，采用分布式读取大数据文件的方式，通过以流的方式读取预定长度的数据，将该数据放入缓存区中，并对其进行预处理，得到数据的内容，最后将数据的内容保存至数据平台，达到了快速加载大数据文件至内存的目的，进而解决了由于文件比较大而导致的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种文件读取方法流程图；

图2是根据本发明实施例的一种可选的文件读取方法流程图；

图3是根据本发明实施例的一种可选的读取预定长度数据的方法流程图；

图4是根据本发明实施例的一种可选的读取预定长度数据之前的方法流程图；以及

图5是根据本发明实施例的一种文件读取装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，提供了一种文件读取的方法实施例。

图1是根据本发明实施例的一种文件读取方法，如图1所示，该方法包括如下步骤：

步骤S102，读取步骤，以流的方式从文件中按照缓存区的大小读取预定长度的数据。

步骤S104，缓存步骤，将读取到的数据放在缓存区进行缓存。

步骤S106，预处理步骤，根据预先配置的预处理要求对缓存的数据进行预处理以得到数据的内容。

步骤S108，导入步骤，将数据的内容保存至数据平台。

步骤S110，循环依次执行读取步骤、缓存步骤、预处理步骤以及导入步骤完成对文件的读取。