[发明专利]数据流并行处理的方法、设备及系统有效
申请号: | 201310344091.6 | 申请日: | 2013-08-08 |
公开(公告)号: | CN104346135B | 公开(公告)日: | 2018-06-15 |
发明(设计)人: | 王翔 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F9/38 | 分类号: | G06F9/38;G06F13/42;G06F17/30 |
代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 滕一斌 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据流 并行处理 配置文件 数据流处理设备 设备及系统 数据流传输 处理方式信息 并行计算 处理模块 处理效率 传输规则 获取模块 接收模块 配置信息 设备获取 一级设备 发送 计算机 | ||
1.一种数据流并行处理的方法,其特征在于,所述方法包括:
获取至少一个数据流,并对于任一数据流,确定所述任一数据流的标识,并向存储有传输规则的数据流向控制设备发送传输规则查询请求,所述传输规则查询请求中携带所述任一数据流的标识,所述传输规则中包括数据流对应的处理设备的网际协议IP地址和端口号;
接收所述数据流向控制设备根据所述任一数据流的标识返回的传输规则,并将接收到的传输规则作为获取到的所述任一数据流的传输规则;
根据每个数据流的传输规则确定每个数据流对应的处理设备的信息;
根据每个数据流对应的处理设备的信息将每个数据流发送至对应的处理设备,由每个数据流对应的处理设备对每个数据流进行处理。
2.根据权利要求1所述的方法,其特征在于,所述根据每个数据流的传输规则确定每个数据流对应的处理设备的信息,包括:
对于任一数据流,如果获取到的所述任一数据流的传输规则中包括多个处理设备的IP地址和端口号,则在所述多个处理设备的IP地址和端口号中选择一个处理设备的IP地址和端口号作为确定的所述任一数据流对应的处理设备的信息。
3.一种数据流并行处理的方法,其特征在于,所述方法包括:
接收上一级设备发送的至少一个数据流,并获取每个数据流的处理配置文件,所述处理配置文件中包括数据流的处理方式信息及处理配置信息;所述至少一个数据流是所述上一级设备根据所述至少一个数据流的对应的传输规则确定得到的本地的IP地址和端口号,而发送到本地的;所述至少一个数据流的对应的传输规则是所述上一级设备从数据流向控制设备获取的;所述数据流向控制设备是根据所述上一级设备发送的所述至少一个数据流的标识确定所述至少一个数据流的对应的传输规则的;
根据每个数据流的处理配置文件对每个数据流进行并行处理,得到每个数据流的处理结果。
4.根据权利要求3所述的方法,其特征在于,所述接收上一级设备发送的至少一个数据流,包括:
接收上一级设备根据每个数据流的传输规则发送的数据流,所述上一级设备为上一级处理设备或数据流传输设备。
5.根据权利要求3所述的方法,其特征在于,所述获取每个数据流的处理配置文件,包括:
对于任一数据流,确定所述任一数据流的标识,并向存储有处理配置文件的数据处理逻辑控制设备发送处理配置文件查询请求,所述处理配置文件查询请求中携带所述任一数据流的标识;
接收所述数据处理逻辑控制设备根据所述任一数据流的标识返回的处理配置文件,并将接收到的处理配置文件作为获取到的所述任一数据流的处理配置文件。
6.根据权利要求3所述的方法,其特征在于,所述根据每个数据流的处理配置文件对每个数据流进行并行处理之前,还包括:
确定每个数据流对应的处理器;
所述根据每个数据流的处理配置文件对每个数据流进行并行处理,包括:
对于任一数据流,调度所述任一数据流对应的处理器按照所述任一数据流的处理配置文件对所述任一数据流进行处理,得到所述任一数据流的处理结果。
7.根据权利要求6所述的方法,其特征在于,所述得到所述任一数据流的处理结果之后,还包括:
输出每个数据流的处理结果。
8.根据权利要求7所述的方法,其特征在于,输出每个数据流的处理结果之前,还包括:
将每个数据流的处理结果存储到对应的处理器的共享内存中;
所述输出每个数据流的处理结果,包括:
每隔预设时间从对应的共享内存中导出每个数据流的处理结果,并将导出的处理结果进行输出。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201310344091.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种改进的输液器
- 下一篇:用于人工小口径血管制备的复合材料及其制备方法