[发明专利]数据处理方法、装置、电子设备及存储介质在审
申请号: | 202110389981.3 | 申请日: | 2021-04-12 |
公开(公告)号: | CN113110800A | 公开(公告)日: | 2021-07-13 |
发明(设计)人: | 楚振江;冀向阳;宋晓东;汪瑫 | 申请(专利权)人: | 百度在线网络技术(北京)有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;H04L29/08 |
代理公司: | 北京市铸成律师事务所 11313 | 代理人: | 郭丽祥;王姗姗 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 电子设备 存储 介质 | ||
本公开提供了数据处理方法、装置、电子设备及存储介质,涉及计算机技术领域,尤其涉及云计算、搜索、信息流等技术领域。具体实现方案为:根据目标数据下载端的业务进程,向点对点网络的数据提供端发送数据文件的第一文件块的第一获取请求;获取所述数据提供端根据所述第一获取请求提供的所述数据文件的第一文件块;将所述数据文件的第一文件块存入所述业务进程对应的内存空间,所述业务进程对应的内存空间用于存储所述业务进程运行时直接调取的数据。本公开实施例能够提高数据下载速度。
技术领域
本公开涉及计算机技术领域,尤其涉及云计算、搜索、信息流等技术领域。
背景技术
在云原生架构技术的普遍应用背景下,各个数据下载端的业务服务启动时间随着业务服务复杂程度带来的部署时间线性增加。
随着网络发展,对数据下载端的数据下载速度提出了更高的要求,亟需对云原生构架下数据源端的各个数据下载端的下载数据文件的速度进行整体提升。
发明内容
本公开提供了一种数据处理方法、装置、设备以及存储介质。
根据本公开的一方面,提供了一种数据处理方法,包括:
根据目标数据下载端的业务进程,向点对点网络的数据提供端发送数据文件的第一文件块的第一获取请求;
获取数据提供端根据第一获取请求提供的数据文件的第一文件块;
将数据文件的第一文件块存入业务进程对应的内存空间,业务进程对应的内存空间用于存储业务进程运行时直接调取的数据。
根据本公开的另一方面,提供了一种数据处理装置,包括:
第一获取请求发送模块,用于根据目标数据下载端的业务进程,向点对点网络的数据提供端发送数据文件的第一文件块的第一获取请求;
第一文件块获取模块,用于获取数据提供端根据第一获取请求提供的数据文件的第一文件块;
第一文件块存入模块,用于将数据文件的第一文件块存入业务进程对应的内存空间,业务进程对应的内存空间用于存储业务进程运行时直接调取的数据。
根据本公开的另一方面,提供了一种数据处理系统,包括:数据源端和与数据源端连接的多个数据下载端;多个数据下载端中的至少一个包括本公开任意一项实施例所提供的数据处理装置。
根据本公开的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与该至少一个处理器通信连接的存储器;其中,
该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行本公开任一实施例中的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行本公开任一实施例中的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现本公开任一实施例中的方法。
根据本公开的技术方案,能够通过点对点网络中的数据提供端获取数据文件的第一文件块,在数据获取时,可选择有被请求的数据的近距离的数据提供端进行数据获取;同时将获取的第一文件块存入业务进程对应的内存空间,无需经过磁盘,从而不受磁盘写入速度限制,提高了数据下载速度和数据写入速度,进而提高了数据获取的整体速度。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110389981.3/2.html,转载请声明来源钻瓜专利网。