[发明专利]基于传输机的数据传输方法、装置、设备和存储介质有效
申请号: | 202010546956.7 | 申请日: | 2020-06-16 |
公开(公告)号: | CN111711688B | 公开(公告)日: | 2023-02-28 |
发明(设计)人: | 刘昌浩;龚睿博 | 申请(专利权)人: | 阿波罗智能技术(北京)有限公司 |
主分类号: | H04L67/1074 | 分类号: | H04L67/1074;H04L67/06;G06F9/50;G06F9/48 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 朱颖;臧建明 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 传输 数据传输 方法 装置 设备 存储 介质 | ||
1.一种基于传输机的数据传输方法,所述方法应用于传输机,所述方法包括:
获取当前传输机中的每一任务的每一数据文件的文件大小;
根据所述每一任务的每一数据文件的文件大小,确定所述每一任务的理想并发度,其中,所述理想并发度表征任务可使用的最小的线程和/或进程数目,并且,任务在理想并发度下的传输时间最小;
获取当前传输机的并发度总门限、以及当前传输机中的每一任务的实际并发度,其中,所述任务具有优先级,所述并发度总门限为实际并发度总和的上限值,所述实际并发度总和为所述每一任务的实际并发度之和;
根据所述并发度总门限和所述每一任务的实际并发度,确定不同优先级的待传输任务的期望并发度,其中,所述期望并发度表征为待传输任务所分配的线程和/或进程数目,不同优先级的待传输任务的期望并发度是不同的;
启动与每一待传输任务的期望并发度表征的线程和/或进程数目对应的线程和/或进程,分别传输所述每一待传输任务;
所述理想并发度为任务中的数据文件可占据的线程和/或进程的数目之和;根据所述每一任务的每一数据文件的文件大小,确定所述每一任务的理想并发度,包括:
根据所述每一任务的每一数据文件的文件大小,确定所述每一任务中的各头部文件和各非头部文件;每一个头部文件的文件大小大于等于预设阈值,每一个非头部文件的文件大小小于预设阈值,预设阈值为预设的第一参数与预设的第二参数的乘积,所述第二参数为任务中文件大小最高的数据文件的文件大小;
确定每一个头部文件,分别占据一个线程和/或进程,并确定各非头部文件的文件大小之和、所述第二参数两者的比值,为各非头部文件所占据的线程和/或进程的数目。
2.根据权利要求1所述的方法,其中,根据所述并发度总门限和所述每一任务的实际并发度,确定不同优先级的待传输任务的期望并发度,包括:
在根据所述并发度总门限和所述每一任务的实际并发度,确定当前传输机中的线程和/或进程可支撑第一优先级别的待传输任务的传输,并且确定所述当前传输机具有第一优先级别的待传输任务的时候,根据所述每一任务的实际并发度,确定所述第一优先级别的待传输任务的期望并发度,其中,第一优先级别大于等于预设优先级阈值;
在根据所述并发度总门限和所述每一任务的实际并发度,确定当前传输机中的线程和/或进程可支撑所述第一优先级别的待传输任务的传输,并且确定所述当前传输机不具有第一优先级别的待传输任务的时候,根据所述每一任务的实际并发度,确定第二优先级别的待传输任务的期望并发度,其中,第二优先级别小于预设优先级阈值。
3.根据权利要求2所述的方法,其中,在根据所述并发度总门限和所述每一任务的实际并发度,确定当前传输机中的线程和/或进程可支撑第一优先级别的待传输任务的传输,并且确定所述当前传输机具有第一优先级别的待传输任务的时候,根据所述每一任务的实际并发度,确定所述第一优先级别的待传输任务的期望并发度,包括:
根据所述每一任务的实际并发度,确定当前传输机的实际并发度总和,其中,所述实际并发度总和为各任务的实际并发度之和;
在确定所述实际并发度总和,小于预设的第一并发度门限时,确定当前传输机中的线程和/或进程可支撑第一优先级别的待传输任务的传输,其中,第一并发度门限为第二并发度门限与第一预设门限差之间的差值,第一并发度门限小于第二并发度门限,第二并发度门限等于所述并发度总门限;
在确定所述当前传输机具有第一优先级别的待传输任务时,根据所述第二并发度门限、所述实际并发度总和,确定所述第一优先级别的待传输任务的期望并发度。
4.根据权利要求3所述的方法,其中,根据所述第二并发度门限、所述实际并发度总和,确定所述第一优先级别的待传输任务的期望并发度,包括:
获取所述第一优先级别的待传输任务的理想并发度;
根据所述第二并发度门限、所述实际并发度总和、所述第一优先级别的待传输任务的理想并发度、以及第三并发度门限,确定所述第一优先级别的待传输任务的期望并发度;其中,第三并发度门限为单个任务的最大期望并发度;所述第一优先级别的待传输任务的期望并发度,小于等于所述第一优先级别的待传输任务的理想并发度,并且所述第一优先级别的待传输任务的期望并发度,小于等于所述第三并发度门限。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿波罗智能技术(北京)有限公司,未经阿波罗智能技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010546956.7/1.html,转载请声明来源钻瓜专利网。