[发明专利]一种事件库、可扩展数据管理系统及其管理方法在审
申请号: | 201711284584.X | 申请日: | 2017-12-07 |
公开(公告)号: | CN108055255A | 公开(公告)日: | 2018-05-18 |
发明(设计)人: | 肖冰;钱卫宁;周傲英 | 申请(专利权)人: | 华东师范大学 |
主分类号: | H04L29/06 | 分类号: | H04L29/06;G06F17/30 |
代理公司: | 上海麦其知识产权代理事务所(普通合伙) 31257 | 代理人: | 董红曼 |
地址: | 200062 上*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 事件 扩展 数据管理 系统 及其 管理 方法 | ||
1.一个面向可扩展数据管理系统的事件库,其特征在于,所述事件库以开源高效的libev为基础,封装读写与超时事件在socket上的观测与响应机制,管理网络连接的输入输出缓冲区,将网络请求包的编码解码接口和处理请求包的回调函数暴露给用户;
所述事件库包括:用于实现发送网络请求、接收处理响应,管理输入缓冲区的客户端,和用于实现接收、处理网络请求,返回处理响应,管理输出缓冲区的服务端;所述客户端与所述服务端通信。
2.如权利要求1所述的事件库,其特征在于,在所述事件库作为收包服务端使用时,注册的用户实现的process回调函数中,用户可配置短任务直接处理,长任务压入其他工作线程的队列;所述收包服务端用于系统中的任意节点作为网络请求服务端时使用,支持用户配置网络I/O线程数,设置TCP参数,开启负载检查,注册相关用户实现的回调函数。
3.如权利要求1所述的事件库,其特征在于,在所述事件库作为发包客户端使用时,用户可配置网络包的编码解码回调函数,自定义网络包的同步或异步发送接口;所述发包客户端用于系统中任意节点作为网络请求客户端时使用,支持用户封装同步发包与异步发包接口,注册相关用户实现的回调函数。
4.一种使用如权利要求1‐3之任一项所述的事件库的可扩展数据事件库的管理系统,其特征在于,包括主控节点、事务处理节点、基线数据存储节点以及用户端管理器;其中,主控节点负责管理集群内所有节点的状态信息,帮助各个节点协同工作,管理集群、数据分布以及副本;所述事务处理节点TNode负责处理写事务,并存储增量更新的数据;所述基线数据存储节点存储大部分的用户数据,提供对数据的读访问支持,能够自动合并基线数据和事务处理节点上的增量数据返回给用户;用户端管理器用来管理用户端通信,对外提供服务接口。
5.一种如权利要求4所述可扩展数据管理系统的管理方法,其特征在于,包括收包服务器的收包阶段与发包客户端的的发包阶段;
其中,所述收包阶段包括以下步骤:
步骤a1:初始化网络I/O的线程池;
步骤a2:打开监听端口启动socket监听;
步骤a3:启动线程池中的所有线程,等待接受监听到的客户端连接;
步骤a4:某线程接受客户端连接,注册读写以及超时的事件处理函数;
步骤a5:事件发生时,回调相应的处理函数,读出socket文件描述符中的数据进行处理;
步骤a6:构建返回包,通过socket写出,返回给客户端;
其中,所述发包阶段包括以下步骤:
步骤b1:将请求编码封装后加入连接的发送队列然后返回。
步骤b2:客户端传输请求可以采用异步或同步两种方式。
步骤b3:收到服务端返回的响应包之后,将请求从队列中删除。
6.根据权利要求5所述的管理方法,其特征在于,所述步骤a1中,使用CPU亲缘性,在网络I/O线程对应的线程执行函数中,将进程绑定到指定的cpu,避免缓存失效,以节省线程调度开销。
7.根据权利要求5所述的管理方法,其特征在于,所述步骤a4中,超时事件的处理基于事件循环模型的观测机制,粒度实现在事件的请求包。
8.根据权利要求5所述的管理方法,其特征在于,所述步骤a5中,可对长任务和短任务进行区分,I/O密集型短任务在网络I/O线程就地处理并返回,长任务压入队列后等待应用层的工作线程处理再返回。
9.根据权利要求5所述的管理方法,其特征在于,所述步骤b2中,同步的请求传输方式基于信号量等待的异步非阻塞机制实现。
10.根据权利要求5所述的管理方法,其特征在于,所述步骤b3中,采用哈希存储与查找的方式处理请求包。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华东师范大学,未经华东师范大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711284584.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种替普瑞酮及其中间物的合成方法
- 下一篇:一种新能源汽车内置件