[发明专利]车辆域多级并行缓冲和基于上下文的流数据预处理系统有效
申请号: | 201680072416.1 | 申请日: | 2016-11-30 |
公开(公告)号: | CN108369593B | 公开(公告)日: | 2022-02-18 |
发明(设计)人: | 董维山;段宁;高鹏;李长升;马春洋;张欣;朱俊 | 申请(专利权)人: | 国际商业机器公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;H04L67/12 |
代理公司: | 北京市柳沈律师事务所 11105 | 代理人: | 王珊珊 |
地址: | 美国纽*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 车辆 多级 并行 缓冲 基于 上下文 数据 预处理 系统 | ||
1.一种车辆域多级并行缓冲和基于上下文的流数据预处理系统,包括:
第一数据处理级,包括被配置为缓冲从多个车辆输出的多个原始数据流提供的数据的第一级缓冲器;以及
第二数据处理级,包括电子任务队列字典TQD模块和多个第二级数据处理缓冲器,所述TQD模块被配置为响应于接收到从所述第一级缓冲器输出的串行数据流而创建多个任务,所述任务对应于由操作所述车辆域多级并行缓冲和基于上下文的流数据预处理系统的本地车辆执行的可用处理操作,每个任务对应于来自多个车辆中的对应车辆的请求,
其中所述TQD模块将所请求的任务与可用处理操作进行比较,并将每个任务分配给对应的第二级缓冲器,并且基于所述任务将所述串行数据流分离成被传送到特定第二级缓冲器的单个数据值,
其中所述数据值包括车辆识别信息,并且所述TQD模块将缓冲器识别值分配给每个第二级缓冲器,使得所述数据值被加载到具有与所述车辆识别信息匹配的缓冲器识别值的对应第二级缓冲器中。
2.根据权利要求1所述的系统,其中,所述TQD模块限制每个车辆在所述第二数据处理级中创建单个工作任务。
3.根据权利要求1所述的系统,其中所述TQD模块基于由相应数据值指示的时间戳加载每个第二级缓冲器。
4.一种处理车辆域中的数据流的方法,所述方法包括:
使用安装在第一数据处理级中的第一级缓冲器来缓冲从多个车辆输出的多个原始数据流提供的数据,其中所述第一数据处理级包括在多级并行缓冲和基于上下文的流数据预处理系统中;
将从所述第一级缓冲器输出的串行数据流传送到安装在第二数据处理级中的电子任务队列字典TQD模块中,其中所述第二数据处理级包括在所述多级并行缓冲和基于上下文的流数据预处理系统中;
响应于接收到所述串行数据流,通过所述TQD模块创建多个任务,所述任务对应于由操作所述车辆域多级并行缓冲和基于上下文的流数据预处理系统的本地车辆执行的可用处理操作,每个任务对应于来自多个车辆中的对应车辆的请求,
其中所述TQD模块将所请求的任务与可用处理操作进行比较,并将每个任务分配给对应的第二级缓冲器,以便基于所述任务将所述串行数据流分离成被传送到特定第二级缓冲器的单个数据值,
其中,所述方法进一步包括将车辆识别信息嵌入所述数据值中,其中所述TQD模块将缓冲器识别值分配给每个第二级缓冲器,使得所述数据值被加载到具有与所述车辆识别信息匹配的缓冲器识别值的对应第二级缓冲器中。
5.根据权利要求4所述的方法,其中所述TQD模块将每个车辆限制为在所述第二数据处理级中创建的单个工作任务。
6.根据权利要求4所述的方法,其中所述TQD模块基于由相应数据值指示的时间戳加载每个第二级缓冲器。
7.一种车辆域多级并行缓冲和基于上下文的流数据预处理系统,包括:
安装在第一数据处理级中的第一级缓冲器,所述第一级缓冲器被配置为对从多个车辆输出的多个数据流提供的数据值同时进行排队;
安装在不同于所述第一数据处理级的第二数据处理级的电子任务队列字典TQD模块,所述TQD模块被配置为接收从所述第一级缓冲器输出的串行数据流并基于所述数据值的上下文从所述串行数据流中分离所述数据值;以及
安装在所述第二数据处理级中的多个第二级缓冲器,所述第二级缓冲器具有分配给它的上下文缓冲器标识值并且被配置为对具有与所述上下文缓冲器标识值相匹配的上下文的数据值进行排队,
其中,所述TQD模块根据并行数据传送方案将数据值加载到相应的第二级缓冲器中以产生各自分离的数据流。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国际商业机器公司,未经国际商业机器公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201680072416.1/1.html,转载请声明来源钻瓜专利网。