[发明专利]读写通信方法、读写器装置及存储介质有效
| 申请号： | 201910912855.4 | 申请日： | 2019-09-25 |
| 公开（公告）号： | CN110750251B | 公开（公告）日： | 2023-03-24 |
| 发明（设计）人： | 何海林;徐滢 | 申请（专利权）人： | 成都品果科技有限公司 |
| 主分类号： | G06F8/30 | 分类号： | G06F8/30;G06N20/00 |
| 代理公司： | 成都玖和知识产权代理事务所(普通合伙) 51238 | 代理人： | 胡琳梅 |
| 地址： | 610041 四川省成都市中国（四川）自*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开一种读写通信方法、读写器装置及存储介质，基于TensorFlow工具包和Spark计算框架的用于操作TFRecord格式的文件，包括：在Spark环境中，基于Scala代码实现一个TFRecord生成器，该工具用于在Spark集群中将相关数据基于DataFrame生成Meta信息；TFRecord生成器将Meta信息和数据文件本身到文件系统中；基于TensorFlow工具包基于Python代码实现一个TFRecord读取器，用于读取文件系统中的Meta信息和TFRecord格式的文件；基于TFRecord读取器实现多种需求完成数据采样进行模型训练等工作；本发明为模型生成千万级甚至更大量级的数据样本，满足深度训练需要，同时，基于本技术方案，通过样本量以及输出的样本文件数，能够完成数据抽样和分组，另外，本技术方案无需进行手动处理，可以大大减少人工干预和编码，更加方便、高效。 | ||
| 搜索关键词： | 读写 通信 方法 装置 存储 介质 | ||
【主权项】：
1.一种读写通信方法，基于TensorFlow工具包和Spark计算框架用于操作TFRecord格式的文件，其特征在于，提供基于Spark框架的TFRecord格式文件生成器以及基于TensorFlow工具包的TFRecord格式文件读取器，包括如下步骤：/nS1.使用Spark将数据进行分片并读取相应信息；/n使用Spark将数据进行分片并读取到内存队列中，从内存队列中读取对应分片中的样本数据量以及DataFrame中每个字段的数据格式信息进行处理，得到元数据信息；/nS2.基于Scala工具包，将S1所述DataFrame中每个字段的数据格式信息和元数据信息写入到文件系统中；/nS3.基于TensorFlow工具包，提供TFRecord格式的读取器，所述读取器通过读取元数据信息文件，获取所述文件系统中TFRecord格式样本数量；/nS4.基于TensorFlow中的DataSet从所述文件系统中读取对应抽样的TFRecord格式的文件数据。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于成都品果科技有限公司，未经成都品果科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910912855.4/，转载请声明来源钻瓜专利网。
