[发明专利]一种SparkStreaming在存储设备中存储文件为固定大小的方法在审
| 申请号： | 201911367850.4 | 申请日： | 2019-12-26 |
| 公开（公告）号： | CN111142798A | 公开（公告）日： | 2020-05-12 |
| 发明（设计）人： | 苗志鹏 | 申请（专利权）人： | 紫光云（南京）数字技术有限公司 |
| 主分类号： | G06F3/06 | 分类号： | G06F3/06 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 210000 江苏省南京市浦口区江浦街*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明的一种SparkStreaming在存储设备中存储文件为固定大小的方法，包括如下步骤：S1：配置文件大小X；S2：读取一个批次的数据量Y；S3：判断，Y为0则结束处理，进入下一批次，Y不为0进入S4；S4：查找小于X的文件，不存在则创建新文件，开启文件IO流；S5：判断文件大小是否大于X；S601：文件不大于X，将数据追加到文件中，关闭文件IO流，进入下一批次；S602：若文件大于X，则将数据拆分成两部分，一部分数据的数据量与文件大小之和恰为X，将数据追加到文件中，关闭文件IO流，结束，另一部分数据进入步骤S5再次执行。该方法能处理不固定的输入数据量，实现输出的文件为固定大小的目的。 | ||
| 搜索关键词： | 一种 sparkstreaming 存储 设备 文件 固定 大小 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于紫光云（南京）数字技术有限公司，未经紫光云（南京）数字技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201911367850.4/，转载请声明来源钻瓜专利网。
