阿雷/文字之间

TECH NOTES / 中间件与数据

ZooKeeper 入门笔记

阿雷整理学习笔记约 21 分钟

原笔记 2021-09-26 · 整理于 2026-10-05

ZooKeeper 的节点、监听、命令行与集群实验笔记，保留原有示例。

版本说明：Java 客户端与部分命令示例来自 ZooKeeper 3.4.x 的学习环境，配置和 API 请按实际使用版本核对。

Zookeeper是什么

官方文档上这么解释zookeeper，它是一个分布式服务框架，是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。\

上面的解释有点抽象，简单来说 zookeeper=文件系统+监听通知机制。\

1、 文件系统

Zookeeper维护一个类似文件系统的数据结构：

Zookeeper入门配图 1\

ZooKeeper是通过znode-value的形式存储数据的，znode有点像目录，而/目录就是ZooKeeper中的根目录

ZNode是ZooKeeper中数据的最小单元，每个ZNode上都可以保存数据，同时可以过载子节点，因此构成了一个层次化的命名空间，也就是树。

每个子目录项如 NameService 都被称作为 znode(目录节点)，和文件系统一样，我们能够自由的增加、删除znode，在一个znode下增加、删除子znode，唯一的不同在于znode是可以存储数据的。

在ZooKeeper中，事务是指能够改变ZooKeeper服务器状态的操作，我们也称之为事务操作或更新操作，一般包括数据节点创建与删除、数据节点内容更新和客户端会话创建与失效等操作。对于每一个事务请求，ZooKeeper会为期分配一个全局唯一的事务ID，用ZXID来表示。

2、节点类型

ZooKeeper中的节点（znode）是有生命周期的，这取决于节点的类型。类型有主要有下面四种：

  • 持久节点（Persistent）：默认节点类型，节点创建后，除非手动删除， 否则节点一直存在于 Zookeeper 上。
  • 持久顺序节点（Persistent Sequential）：具有持久节点特性，节点名后边会追加一个由父节点维护的自增整型数字后缀。
  • 临时节点（Ephemeral）：临时存在，当创建节点的会话关闭时，节点被删除。临时节点的生命周期与客户端会话绑定，一旦客户端会话失效（客户端与zookeeper 连接断开不一定会话失效），那么这个客户端创建的所有临时节点都会被移除。
  • 临时顺序节点（Ephemeral Sequential）：具有临时节点特性，节点名后边会追加一个由父节点维护的自增整型数字后缀。

如果你用命令行创建节点的话，顺序特性对应-s**选项，临时特性对应-e**选项，比如如下命令：

css
# 创建持久顺序节点
create -s /test/seq segText

# 创建临时节点
create -e /test/tmp tmpText

 # 创建临时顺序节点
create -s -e /test/seqTmp setTmpText

创建成功后显示如下：\

Zookeeper入门配图 2

ZK节点属性如下：

Zookeeper入门配图 3

3、 监听通知机制

****\

客户端注册监听它关心的目录节点，当目录节点发生变化（数据改变、被删除、子目录节点增加删除）时，zookeeper会通知客户端。

就这么简单，下面我们看看Zookeeper能做点什么呢？

4、 Zookeeper角色

leader领导者、follower跟随者、observer观察者、client客户端

（1）leader：负责投票的发起和决议，更新系统状态，处理事务请求。

（2）follower跟随者：参与投票，接收客户端请求，处理非事务请求并返回结果，转发事务请求给leader。

（3）observer观察者：不参与投票过程，只同步leader状态，为了扩展系统，提高读写速度。也接收客户端请求，处理非事务请求并返回结果，转发事务请求给leader。

（4）client客户端：请求发起方。

5、Watcher监听机制

ZooKeeper的Watcher机制主要包括客户端线程、客户端WatcherManager和ZooKeeper服务器三部分。在具体工作流程上，简单来讲，客户端在ZooKeeper服务器注册Watcher的同时，会将Watcher对象存储在客户端的WatcherManager中。当ZooKeeper服务器端触发Watcher事件后，会向客户端发送通知，客户端线程从WatcherManager中取出对应的Watcher对象来执行回调逻辑。

（1）监控目录节点数据变化

（2）监控子目录变化

（3）一旦这些节点发生变化，服务器就会通知所有设置在这个目录节点上的Watcher，使得每个客户端都很快知道其关注的目录节点的状态发生变化，从而做出相应反应。

节点类型和Watcher监听机制，是解决所有应用场景问题的出发点和落脚点。

  • ****\

补充：

1、事务性请求

Zookeeper通常都是以集群模式运行的，也就是Zookeeper集群中各个节点的数据需要保持一致的。但是和Mysql集群不一样的是：

  • Mysql集群中，从服务器是异步从主服务器同步数据的，这中间的间隔时间可以比较长。
  • Zookeeper集群中，当某一个集群节点接收到一个写请求操作时，该节点需要将这个写请求操作发送给其他节点，以使其他节点同步执行这个写请求操作，从而达到各个节点上的数据保持一致，也就是数据一致性。我们通常说Zookeeper保证CAP理论中的CP就只这个意思。

Zookeeper集群底层是怎么保证数据一致性的，其实是用的两阶段提交+过半机制来保证的。

事务性请求包括：更新操作、新增操作、删除操作，结合上面的分析，因为这些操作是会影响数据的，所以要保证这些操作在整个集群内的事务性，所以这些操作就是事务性请求。

2、非事务性请求

那么非事务性请求就好理解的，像查询操作、exist操作这些不影响数据的操场，就不需要集群来保持事务性，所以这些操场就是非事务性请求。

Zookeeper在处理事务性请求时，比处理非事务性请求要复杂很多

Zookeeper能做什么

zookeeper功能非常强大，可以实现诸如分布式应用配置管理、统一命名服务、状态同步服务、集群管理等功能，我们这里拿比较简单的分布式应用配置管理为例来说明。

假设我们的程序是分布式部署在多台机器上，如果我们要改变程序的配置文件，需要逐台机器去修改，非常麻烦，现在把这些配置全部放到zookeeper上去，保存在 zookeeper 的某个目录节点中，然后所有相关应用程序对这个目录节点进行监听，一旦配置信息发生变化，每个应用程序就会收到 zookeeper 的通知，然后从 zookeeper 获取新的配置信息应用到系统中。

Zookeeper入门配图 4

如上，你大致应该了解zookeeper是个什么东西，大概能做些什么了，我们马上来学习下zookeeper的安装及使用，并开发一个小程序来实现zookeeper这个分布式配置管理的功能。

Zookeeper单机模式安装

Step1：配置JAVA环境，检验环境：java -version

Step2：下载并解压 zookeeper

css
# cd /usr/local
# wget http://mirror.bit.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz
# tar -zxvf zookeeper-3.4.12.tar.gz
# cd zookeeper-3.4.12

Step3：重命名配置文件zoo_sample.cfg

css
# cp conf/zoo_sample.cfg conf/zoo.cfg

Step4：启动zookeeper

css
# bin/zkServer.sh start

Step5：检测是否成功启动，用zookeeper客户端连接下服务端

css
# bin/zkCli.sh

Zookeeper使用

使用客户端命令行操作zookeeper

  • 首先使用zkCli命令行工具连接到ZooKeeper；
css
zkCli.cmd -server 127.0.0.1:2181
  • 通过help可以命令查看ZooKeeper的常用命令；
css
[zk: 127.0.0.1:2181(CONNECTED) 0] help
ZooKeeper -server host:port -client-configuration properties-file cmd args
        addWatch [-m mode] path # optional mode is one of [PERSISTENT, PERSISTENT_RECURSIVE] - default is PERSISTENT_RECURSIVE
        addauth scheme auth
        close
        config [-c] [-w] [-s]
        connect host:port
        create [-s] [-e] [-c] [-t ttl] path [data] [acl]
        delete [-v version] path
        deleteall path [-b batch size]
        delquota [-n|-b|-N|-B] path
        get [-s] [-w] path
        getAcl [-s] path
        getAllChildrenNumber path
        getEphemerals path
        history
        listquota path
        ls [-s] [-w] [-R] path
        printwatches on|off
        quit
        reconfig [-s] [-v version] [[-file path] | [-members serverID=host:port1:port2;port3[,...]*]] | [-add serverId=host:port1:port2;port3[,...]]* [-remove serverId[,...]*]
        redo cmdno
        removewatches path [-c|-d|-a] [-l]
        set [-s] [-v version] path data
        setAcl [-s] [-v version] [-R] path acl
        setquota -n|-b|-N|-B val path
        stat [-w] path
        sync path
        version
        whoami
  • 大家都知道Redis是通过key-value的形式存储数据的，而ZooKeeper是通过znode-value的形式存储数据的，znode有点像目录，而/目录就是ZooKeeper中的根目录，通过如下命令可以查看所有znode；
css
[zk: 127.0.0.1:2181(CONNECTED) 1] ls /
[zookeeper]

****\

  • 创建一个znode叫做/zk_test，存储字符串my_data，这用起来有点像Redis；
css
[zk: 127.0.0.1:2181(CONNECTED) 2] create /zk_test my_data
Created /zk_test
  • 查看所有znode，可以看到zk_test这个znode；
css
[zk: 127.0.0.1:2181(CONNECTED) 3] ls /
[zk_test, zookeeper]

****\

  • 获取znode中存储的数据；
css
[zk: 127.0.0.1:2181(CONNECTED) 4] get /zk_test
my_data
  • 修改znode中的数据；
css
[zk: 127.0.0.1:2181(CONNECTED) 5] set /zk_test test_data
[zk: 127.0.0.1:2181(CONNECTED) 6] get /zk_test
test_data
  • 删除znode中的数据；
css
[zk: 127.0.0.1:2181(CONNECTED) 7] delete /zk_test
[zk: 127.0.0.1:2181(CONNECTED) 8] ls /
[zookeeper]

可视化工具PrettyZoo

移步：https://zhuanlan.zhihu.com/p/382793272

其它可视化工具：几款ZooKeeper可视化工具，最后一个美炸了

Zookeeper入门配图 5

使用Java API操作zookeeper

使用Java API操作zookeeper需要引用下面的包

Zookeeper入门配图 6\

下面我们来实现上面说的分布式配置中心：

1、在zookeeper里增加一个目录节点，并且把配置信息存储在里面

Zookeeper入门配图 7

2、启动两个zookeeper客户端程序，代码如下所示

java
import java.util.concurrent.CountDownLatch;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.Watcher.Event.EventType;
import org.apache.zookeeper.Watcher.Event.KeeperState;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.data.Stat;

/**
 * 分布式配置中心demo
 * @author
 *
 */
public class ZooKeeperProSync implements Watcher {

    private static CountDownLatch connectedSemaphore = new CountDownLatch(1);
    private static ZooKeeper zk = null;
    private static Stat stat = new Stat();

    public static void main(String[] args) throws Exception {
        //zookeeper配置数据存放路径
        String path = "/username";
        //连接zookeeper并且注册一个默认的监听器
        zk = new ZooKeeper("192.0.2.100:2181", 5000, //
                new ZooKeeperProSync());
        //等待zk连接成功的通知
        connectedSemaphore.await();
        //获取path目录节点的配置数据，并注册默认的监听器
        System.out.println(new String(zk.getData(path, true, stat)));

        Thread.sleep(Integer.MAX_VALUE);
    }

    public void process(WatchedEvent event) {
        if (KeeperState.SyncConnected == event.getState()) {  //zk连接成功通知事件
            if (EventType.None == event.getType() && null == event.getPath()) {
                connectedSemaphore.countDown();
            } else if (event.getType() == EventType.NodeDataChanged) {  //zk目录节点数据变化通知事件
                try {
                    System.out.println("配置已修改，新值为：" + new String(zk.getData(event.getPath(), true, stat)));
                } catch (Exception e) {
                }
            }
        }
    }
}

两个程序启动后都正确的读取到了zookeeper的/username目录节点下的数据'qingfeng'

3、我们在zookeeper里修改下目录节点/username下的数据

Zookeeper入门配图 8\

修改完成后，我们看见两个程序后台都及时收到了他们监听的目录节点数据变更后的值，如下所示

Zookeeper入门配图 9\

Zookeeper集群模式安装

windows下zookeeper集群安装 - 郭慕荣 - 博客园

本例搭建的是伪集群模式，即一台机器上启动三个zookeeper实例组成集群，真正的集群模式无非就是实例IP地址不同，搭建方法没有区别

Step1：配置JAVA环境，检验环境：java -version

Step2：下载并解压zookeeper

css
# cd /usr/local
# wget http://mirror.bit.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz
# tar -zxvf zookeeper-3.4.12.tar.gz
# cd zookeeper-3.4.12

Step3：重命名 zoo_sample.cfg文件

css
# cp conf/zoo_sample.cfg conf/zoo-1.cfg

Step4：修改配置文件zoo-1.cfg，原配置文件里有的，修改成下面的值，没有的则加上

css
# vim conf/zoo-1.cfg
dataDir=/tmp/zookeeper-1
clientPort=2181
server.1=127.0.0.1:2888:3888
server.2=127.0.0.1:2889:3889
server.3=127.0.0.1:2890:3890

配置说明

  • tickTime：这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。
  • initLimit：这个配置项是用来配置 Zookeeper 接受客户端（这里所说的客户端不是用户连接 Zookeeper 服务器的客户端，而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 10个心跳的时间（也就是 tickTime）长度后 Zookeeper 服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是 10*2000=20 秒
  • syncLimit：这个配置项标识 Leader 与 Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度，总的时间长度就是 5*2000=10秒
  • dataDir：顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里。
  • clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。
  • server.A=B：C：D：其中 A 是一个数字，表示这个是第几号服务器；B 是这个服务器的 ip 地址；C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式，由于 B 都是一样，所以不同的 Zookeeper 实例通信端口号不能一样，所以要给它们分配不同的端口号。

Step5：再从zoo-1.cfg复制两个配置文件zoo-2.cfg和zoo-3.cfg，只需修改dataDir和clientPort不同即可

css
# cp conf/zoo-1.cfg conf/zoo-2.cfg
# cp conf/zoo-1.cfg conf/zoo-3.cfg
# vim conf/zoo-2.cfg
dataDir=/tmp/zookeeper-2
clientPort=2182
# vim conf/zoo-2.cfg
dataDir=/tmp/zookeeper-3
clientPort=2183

Step6：标识Server ID

创建三个文件夹/tmp/zookeeper-1，/tmp/zookeeper-2，/tmp/zookeeper-2，在每个目录中创建文件myid 文件，写入当前实例的server id，即1.2.3

css
# cd /tmp/zookeeper-1
# vim myid
1
# cd /tmp/zookeeper-2
# vim myid
2
# cd /tmp/zookeeper-3
# vim myid
3

Step7：启动三个zookeeper实例

css
# bin/zkServer.sh start conf/zoo-1.cfg
# bin/zkServer.sh start conf/zoo-2.cfg
# bin/zkServer.sh start conf/zoo-3.cfg

Step8：检测集群状态，也可以直接用命令“zkCli.sh -server IP:PORT”连接zookeeper服务端检测

Zookeeper入门配图 10\

至此，我们对zookeeper就算有了一个入门的了解，当然zookeeper远比我们这里描述的功能多，比如用zookeeper实现集群管理，分布式锁，分布式队列，zookeeper集群leader选举等等\

\

文章参考：

文章配图