[发明专利]读写通信方法、读写器装置及存储介质

权利要求书

1.一种读写通信方法，基于TensorFlow工具包和Spark计算框架用于操作TFRecord格式的文件，其特征在于，提供基于Spark框架的TFRecord格式文件生成器以及基于TensorFlow工具包的TFRecord格式文件读取器，包括如下步骤：

S1．使用Spark将数据进行分片并读取相应信息；

使用Spark将数据进行分片并读取到内存队列中，从内存队列中读取对应分片中的样本数据量以及DataFrame中每个字段的数据格式信息进行处理，得到元数据信息；

读取DataFrame的Schema结构，遍历Schema中每个字段的字段名和特征字段类型，根据特征字段类型标记字段的维度；

对类别型字段从DataFrame中列举出列表；

S2．基于Scala工具包，将S1所述DataFrame中每个字段的数据格式信息和元数据信息写入到文件系统中；

S3．基于TensorFlow工具包，提供TFRecord格式的读取器，所述读取器通过读取元数据信息文件，获取所述文件系统中TFRecord格式样本数量；

S4．基于TensorFlow中的DataSet从所述文件系统中读取对应抽样的TFRecord格式的文件数据。

2.根据权利要求1所述的读写通信方法，其特征在于，S1中所述DataFrame中每个字段的数据格式信息包括：字段名、字段类型和默认值。

3.根据权利要求1所述的读写通信方法，其特征在于，S1中所述元数据信息包括：文件名、数据样本数量、文件大小、路径、存储位置、时间。

4.根据权利要求1所述的读写通信方法，其特征在于，S2中所述文件系统包括AWS S3和HDFS。

5.一种读写器装置，其特征在于，所述装置包括：

数据读取模块，用于将数据进行分片并读取相应信息；

使用Spark将数据进行分片并读取到内存队列中，从内存队列中读取对应分片中的样本数据量以及DataFrame中每个字段的数据格式信息进行处理，得到元数据信息；

读取DataFrame的Schema结构，遍历Schema中每个字段的字段名和特征字段类型，根据特征字段类型标记字段的维度；

对类别型字段从DataFrame中列举出列表；

数据写入模块，用于将所述DataFrame中每个字段的数据格式信息和元数据信息写入到文件系统中；

数据分析模块，用于基于TensorFlow工具包，提供TFRecord格式的读取器，所述读取器通过读取元数据信息文件，获取所述文件系统中TFRecord格式样本数量；以及基于TensorFlow中的D ataSet从所述文件系统中读取对应抽样的TFRecord格式的文件数据；

数据输出模块，用于输出数据。

6.一种存储介质，其特征在于，所述存储介质包括储存的程序，其中，所述程序运行时执行权利要求1—4中任一项所述的方法。

7.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1—4中任一项所述的方法。