[发明专利]数据处理方法、服务器和计算机可读存储介质在审
申请号: | 202010043982.8 | 申请日: | 2020-01-15 |
公开(公告)号: | CN111258822A | 公开(公告)日: | 2020-06-09 |
发明(设计)人: | 陈慕仪 | 申请(专利权)人: | 广州虎牙科技有限公司 |
主分类号: | G06F11/16 | 分类号: | G06F11/16 |
代理公司: | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人: | 张欣欣 |
地址: | 511400 广东省广州市番禺*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 服务器 计算机 可读 存储 介质 | ||
本发明提供一种数据处理方法、服务器和计算机可读存储介质,涉及集群的数据处理领域。该方法应用于具有缓存的第一服务器,第一服务器为集群的主服务器,集群还包括其它N个从服务器,集群通过中间组件与客户端连接;该方法包括:接收中间组件转发的客户端请求;将请求存储至第一服务器的第一缓存;将第一缓存中存储的请求发送至其它N个从服务器;当接收到至少N/2个与请求对应的存储响应时,发送数据同步成功信息至客户端,以使客户端确认本轮数据同步成功。客户端通过中间组件与集群通讯,减少客户端对集群的选择逻辑;数据同步时,从服务器与主服务器的缓存交互,而不是和主服务器的磁盘,有效的减少数据处理的时间,并保证数据准确性。
技术领域
本发明涉及集群的数据处理领域,具体而言,涉及一种数据处理方法、服务器和计算机可读存储介质。
背景技术
目前的主从高可用方案中,存在异步和同步两种处理数据的方式:如果是异步处理的方式,主服务器宕机会直接导致集群的数据丢失;而假设集群切换为同步处理的方式,除了会引起集群的性能问题,主从切换检测的步骤繁杂,并且无法保证集群数据的一致性,会产生脏数据,需要后续做数据修复才能恢复集群数据;另外,主从切换存在较大延时,为了减少延时,需要依赖第三方服务,若第三方服务的节点故障或者网络分区,会导致集群的主从切换请求失败,进而导致集群不可用,无法保障集群的高可用性。
为了保证集群的高可用性,一般使用数据对等的高可用方案,其通过主服务器与客户端、数据库、从服务器分别连接,当主服务器接收到客户端的请求时,主服务器将该请求存储到主服务器的磁盘中,并将磁盘中的请求发送到从服务器中,以便实现数据同步和集群的高可用性;该方案在对数据准确性要求不高的场景可以适用,例如弹幕服务,用户可以看到自己发出的弹幕;对于别人发出的弹幕,其可能存储在不同服务器的磁盘中,即使磁盘中存储的其它用户的弹幕丢失,用户也无感知。
发明内容
有鉴于此,本发明的目的在于提供一种数据处理方法、服务器和计算机可读存储介质。
为了实现上述目的,本发明采用的技术方案如下:
第一方面,本发明提供一种数据处理方法,应用于具有缓存的第一服务器,所述第一服务器为集群的主服务器,所述集群还包括其它N个从服务器,N≥2,所述集群通过中间组件与客户端连接。所述方法包括:接收所述中间组件转发的所述客户端的请求;将所述请求存储至所述第一服务器的第一缓存;将所述第一缓存中存储的所述请求发送至所述其它N个从服务器;当接收到所述其它N个从服务器发送的至少N/2个与所述请求对应的存储响应时,发送数据同步成功信息至所述客户端,以使所述客户端确认本轮数据同步成功。
在可选的实施方式中,所述第一服务器具有投票计时器,所述投票计时器用于选举所述集群的主服务器,在所述接收所述中间组件转发的所述客户端的请求之前,所述方法还包括:判断所述投票计时器的等待时间是否大于或等于预设时间;所述等待时间为所述第一服务器的当前时间与所述投票计时器的启动时间的差值。若是,则发送请求投票信息至所述其它N个从服务器,以使所述其它N个从服务器在选举超时时间内不发送投票请求;所述选举超时时间为所述其它N个从服务器中的任意一个服务器发送投票请求的时间与所述当前时间的间隔时间。判断所述选举超时时间内,是否接收到所述其它N个从服务器发送的至少N/2个与所述请求投票信息对应的响应;若是,则确认所述第一服务器为所述集群的主服务器。
在可选的实施方式中,所述第一服务器存储有具有当前序列号的第一日志,在所述确认所述第一服务器为所述集群的主服务器之前,所述方法还包括:判断所述当前序列号是否大于或等于所述其它N个从服务器的所有日志序列号;若是,则执行所述确认所述第一服务器为所述集群的主服务器的步骤。
在可选的实施方式中,所述第一服务器具有无锁队列,所述将所述请求存储至所述第一服务器的第一缓存,包括:将所述请求发送至所述无锁队列;发送缓存请求至所述无锁队列,以将所述请求存储至所述第一缓存。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州虎牙科技有限公司,未经广州虎牙科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010043982.8/2.html,转载请声明来源钻瓜专利网。