[发明专利]一种数据处理及传输方法和装置在审
| 申请号： | 201910764376.2 | 申请日： | 2019-08-19 |
| 公开（公告）号： | CN110659270A | 公开（公告）日： | 2020-01-07 |
| 发明（设计）人： | 鲍慧琰 | 申请（专利权）人： | 苏宁金融科技(南京)有限公司 |
| 主分类号： | G06F16/215 | 分类号： | G06F16/215;G06F16/22;H04L29/08 |
| 代理公司： | 11111 北京市万慧达律师事务所 | 代理人： | 张慧娟 |
| 地址： | 211800 江苏省南京市江*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 源数据 非实时数据 实时数据 非实时 实时计算 实时同步 有效客户 方法和装置 数据传输量 大数据量 定时采集 离线计算 实时采集 数据处理 数据服务 增量变化 增量数据 最大可能 长连接 客户端 时效性 备份 拥堵 写入 数据库 传输 加工 | ||
1.一种数据处理及传输方法，其特征在于，包括：
实时采集实时源数据及定时采集非实时源数据；
对所述实时源数据进行实时计算生成实时数据，对所述非实时源数据进行离线计算生成非实时数据；
将所述实时数据及所述非实时数据通过双向长连接推送给客户端。
2.如权利要求1所述的一种数据处理及传输方法，其特征在于，所述对所述实时源数据进行实时计算生成实时数据，包括：
分布式离线备份所述实时源数据；
分布式实时计算所述实时源数据，生成所述实时数据；
分布式离线备份所述实时数据。
3.如权利要求2所述的一种数据处理及传输方法，其特征在于，在所述离线备份所述实时源数据后，所述生成实时数据还包括：
离线计算所述实时源数据，生成离线计算结果；
当所述实时计算异常时，将所述离线计算结果代替所述实时数据实时推送至所述客户端。
4.如权利要求1所述的一种数据处理及传输方法，其特征在于，所述对所述非实时源数据进行离线计算生成非实时数据，包括：
离线备份所述非实时源数据；
离线计算所述非实时源数据，生成所述非实时数据；
离线备份并存储所述非实时数据。
5.如权利要求1所述的一种数据处理及传输方法，其特征在于，所述将所述实时数据及所述非实时数据通过双向长连接实时推送给客户端，包括：
接收所述客户端发送的鉴权请求；
审核所述鉴权请求，若所述鉴权请求通过审核，则将所述实时数据及所述非实时数据通过双向长连接推送给所述客户端。
6.如权利要求2所述的一种数据处理及传输方法，其特征在于，离线备份所述实时源数据和所述实时数据包括：
将所述实时源数据和所述实时数据分别写入第一数据表和第二数据表中保留至预设期限。
7.如权利要求4所述的一种数据处理及传输方法，其特征在于，所述离线备份所述非实时源数据和所述非实时数据包括：
将所述非实时源数据和所述非实时数据分别写入第三数据表和第四数据表中。
8.基于权利要求1～7中任意一项所述方法建立的一种数据处理及传输装置，其特征在于，包括：
数据采集模块，用于实时采集实时源数据及定时采集非实时源数据；
实时数据获取模块，用于对实时源数据进行实时计算生成实时数据；
非实时数据获取模块，用于对非实时源数据进行离线计算生成非实时数据；
通信模块，用于将所述实时数据及所述非实时数据通过双向长连接推送给客户端。
9.如权利要求8所述的一种数据处理及传输装置，其特征在于，所述实时数据获取模块，包括：
实时计算模块，用于实时计算所述实时源数据，生成所述实时数据；
第一备份模块，用于离线备份所述实时源数据和所述实时数据；
所述装置还包括：分布式消息系统，用于分布式处理所述实时源数据和所述实时数据。
10.如权利要求9所述的一种数据处理及传输装置，其特征在于，所述非实时数据获取模块，包括：
离线计算模块，用于离线计算所述非实时源数据，生成所述非实时数据；
第二备份模块，用于离线备份所述非实时源数据和所述非实时数据；
数据库，用于存储所述非实时数据。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于苏宁金融科技(南京)有限公司，未经苏宁金融科技(南京)有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201910764376.2/1.html，转载请声明来源钻瓜专利网。
