[发明专利]自主可控数据库分布式集群的流式数据处理方法

说明书

本发明提供一种自主可控数据库分布式集群的流式数据处理方法，包括：通过分布式可用集群架构获取数据流；对所述数据流进行筛选，以将其中的有效数据存储到所述分布式可用集群架的数据表中。上述技术方案能够实现数据库集群可实现高可用、负载均衡架构下对流式数据快速处理与存储。

技术领域

本发明涉及数据处理技术领域，特别涉及自主可控数据库分布式集群的流式数据处理方法。

背景技术

随着互联网的更进一步发展，信息的交互和沟通正在从点对点向着信息链甚至信息网的方向发展，这样必然带来数据在各个维度的交叉关联，数据爆炸已不可避免。例如：信息浏览、搜索、关系交互传递、电子商务、互联网旅游生活产品等将生活中的流通环节在线化，工厂生产信息智能化，导致了对于数据实时性的要求进一步提升。

随着数据量的爆炸式增长，数据库必须满足多维度大量流式数据的快速处理与存储两个方面。现有关系数据库，很难同时实现这两个属性。

发明内容

针对现有技术中的数据库无法实现数据量爆炸式增长时候的数据处理，本发明实施例提出了一种自主可控数据库分布式集群的流式数据处理方法，以提高数据处理能力。

为了解决上述问题，本发明实施例提出了一种自主可控数据库分布式集群的流式数据处理方法，包括：

通过分布式可用集群架构获取数据流；

对所述数据流进行筛选，以将其中的有效数据存储到所述分布式可用集群架的数据表中。

其中，所述方法还包括：通过连接池工具对所述分布式可用集群进行负载均衡。

其中，所述方法还包括：通过连接池工具对所述分布式可用集群进行负载均衡。

其中，所述连接池工具通过以下方法装配到所述自主可控数据库分布式集群内：

1)安装pgbouncer

yum-y install pgbouncer

2)配置pgbouncer

vim/etc/pgbouncer/pgbouncer.ini修改以下内容

auth_type＝md5

admin_users＝db_admin_user

stats_users＝db_admin_user

ignore_startup_parameters＝extra_float_digits

max_client_conn＝1000

default_pool_size＝50

3)修改认证文件

查询md5码并保存

select usename,passwd from pg_shadow order by 1；

添加认证

echo'dbusermd5xxx'/etc/pgbouncer/userlist.txt

修改数据库认证文件

echo‘hostallall127.0.0.1/32md5’/pgdata/data/pg_hba.conf

4)启动连接池

pgbouncer-d/etc/pgbouncer/pgbouncer.ini

将所述连接池通过连接池工具对所述分布式可用集群进行负载均衡。