[发明专利]一种事件库、可扩展数据管理系统及其管理方法在审

专利信息
申请号: 201711284584.X 申请日: 2017-12-07
公开(公告)号: CN108055255A 公开(公告)日: 2018-05-18
发明(设计)人: 肖冰;钱卫宁;周傲英 申请(专利权)人: 华东师范大学
主分类号: H04L29/06 分类号: H04L29/06;G06F17/30
代理公司: 上海麦其知识产权代理事务所(普通合伙) 31257 代理人: 董红曼
地址: 200062 上*** 国省代码: 上海;31
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 事件 扩展 数据管理 系统 及其 管理 方法
【权利要求书】:

1.一个面向可扩展数据管理系统的事件库,其特征在于,所述事件库以开源高效的libev为基础,封装读写与超时事件在socket上的观测与响应机制,管理网络连接的输入输出缓冲区,将网络请求包的编码解码接口和处理请求包的回调函数暴露给用户;

所述事件库包括:用于实现发送网络请求、接收处理响应,管理输入缓冲区的客户端,和用于实现接收、处理网络请求,返回处理响应,管理输出缓冲区的服务端;所述客户端与所述服务端通信。

2.如权利要求1所述的事件库,其特征在于,在所述事件库作为收包服务端使用时,注册的用户实现的process回调函数中,用户可配置短任务直接处理,长任务压入其他工作线程的队列;所述收包服务端用于系统中的任意节点作为网络请求服务端时使用,支持用户配置网络I/O线程数,设置TCP参数,开启负载检查,注册相关用户实现的回调函数。

3.如权利要求1所述的事件库,其特征在于,在所述事件库作为发包客户端使用时,用户可配置网络包的编码解码回调函数,自定义网络包的同步或异步发送接口;所述发包客户端用于系统中任意节点作为网络请求客户端时使用,支持用户封装同步发包与异步发包接口,注册相关用户实现的回调函数。

4.一种使用如权利要求1‐3之任一项所述的事件库的可扩展数据事件库的管理系统,其特征在于,包括主控节点、事务处理节点、基线数据存储节点以及用户端管理器;其中,主控节点负责管理集群内所有节点的状态信息,帮助各个节点协同工作,管理集群、数据分布以及副本;所述事务处理节点TNode负责处理写事务,并存储增量更新的数据;所述基线数据存储节点存储大部分的用户数据,提供对数据的读访问支持,能够自动合并基线数据和事务处理节点上的增量数据返回给用户;用户端管理器用来管理用户端通信,对外提供服务接口。

5.一种如权利要求4所述可扩展数据管理系统的管理方法,其特征在于,包括收包服务器的收包阶段与发包客户端的的发包阶段;

其中,所述收包阶段包括以下步骤:

步骤a1:初始化网络I/O的线程池;

步骤a2:打开监听端口启动socket监听;

步骤a3:启动线程池中的所有线程,等待接受监听到的客户端连接;

步骤a4:某线程接受客户端连接,注册读写以及超时的事件处理函数;

步骤a5:事件发生时,回调相应的处理函数,读出socket文件描述符中的数据进行处理;

步骤a6:构建返回包,通过socket写出,返回给客户端;

其中,所述发包阶段包括以下步骤:

步骤b1:将请求编码封装后加入连接的发送队列然后返回。

步骤b2:客户端传输请求可以采用异步或同步两种方式。

步骤b3:收到服务端返回的响应包之后,将请求从队列中删除。

6.根据权利要求5所述的管理方法,其特征在于,所述步骤a1中,使用CPU亲缘性,在网络I/O线程对应的线程执行函数中,将进程绑定到指定的cpu,避免缓存失效,以节省线程调度开销。

7.根据权利要求5所述的管理方法,其特征在于,所述步骤a4中,超时事件的处理基于事件循环模型的观测机制,粒度实现在事件的请求包。

8.根据权利要求5所述的管理方法,其特征在于,所述步骤a5中,可对长任务和短任务进行区分,I/O密集型短任务在网络I/O线程就地处理并返回,长任务压入队列后等待应用层的工作线程处理再返回。

9.根据权利要求5所述的管理方法,其特征在于,所述步骤b2中,同步的请求传输方式基于信号量等待的异步非阻塞机制实现。

10.根据权利要求5所述的管理方法,其特征在于,所述步骤b3中,采用哈希存储与查找的方式处理请求包。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华东师范大学,未经华东师范大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201711284584.X/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top