etcd 简介

etcd 是 CoreOS 团队于 2013 年 6 月发起的开源项目,它的目标是构建一个高可用的分布式键值(key-value)数据库。 etcd 内部采用 raft 协议作为一致性算法,etcd 基于 Go 语言实现。

etcd 作为服务发现系统,有以下的特点:

  • 简单: 安装配置简单,而且提供了 HTTP API 进行交互,使用也很简单
  • 安全: 支持 SSL 证书验证
  • 快速: 根据官方提供的 benchmark 数据,单实例支持每秒 2k+ 读操作
  • 可靠: 采用 raft 算法,实现分布式系统数据的可用性和一致性

etcd 项目地址: https://github.com/coreos/etcd/

etcd 应用场景

etcd 比较多的应用场景是用于服务发现,服务发现(Service Discovery)要解决的是分布式系统中最常见的问题之一,即在同一个分布式集群中的进程或服务如何才能找到对方并建立连接

从本质上说,服务发现就是要了解集群中是否有进程在监听 upd 或者 tcp 端口,并且通过名字就可以进行查找和链接。要解决服务发现的问题,需要下面三大支柱,缺一不可

  • 一个强一致性、高可用的服务存储目录。 基于 Ralf 算法的 etcd 天生就是这样一个强一致性、高可用的服务存储目录
  • 一种注册服务和健康服务健康状况的机制。 用户可以在 etcd 中注册服务,并且对注册的服务配置 key TTL,定时保持服务的心跳以达到监控健康状态的效果
  • 一种查找和连接服务的机制。 通过在 etcd 指定的主题下注册的服务业能在对应的主题下查找到。为了确保连接,我们可以在每个服务机器上都部署一个 proxy 模式的 etcd,这样就可以确保访问 etcd 集群的服务都能够互相连接

etcd 安装

etcd 在生产环境中一般推荐集群方式部署。本文主要讲单节点安装和基本使用

etcd 目前默认使用 2379 端口提供 HTTP API 服务,2380 端口和 peer 通信(这两个端口已经被 IANA 官方预留给 etcd);在之前的版本中可能会分别使用 4001 和 7001,在使用的过程中需要注意这个区别

因为 etcd 是 go 语言编写的,安装只需要下载对应的二进制文件,并放到合适的路径就行

下载软件包

$ wget https://github.com/coreos/etcd/releases/download/v3.1.5/etcd-v3.1.5-linux-amd64.tar.gz    
$ tar xzvf etcd-v3.1.5-linux-amd64.tar.gz    
$ mv etcd-v3.1.5-linux-amd64 /opt/etcd

解压后是一些文档和两个二进制文件 etcd 和 etcdctl。etcd 是 server 端,etcdctl 是客户端

$ ls /opt/etcd/
Documentation    etcdctl    README.md    etcd    README-etcdctl.md    READMEv2-etcdctl.md

如果在测试环境,启动一个单节点的 etcd 服务,只需要运行etcd命令就行

$ /opt/etcd/etcd
2018-12-18 10:35:19.241194 I | etcdmain: etcd Version: 3.1.5
2018-12-18 10:35:19.241337 I | etcdmain: Git SHA: 20490ca
2018-12-18 10:35:19.241354 I | etcdmain: Go Version: go1.7.5
2018-12-18 10:35:19.241368 I | etcdmain: Go OS/Arch: linux/amd64
2018-12-18 10:35:19.241417 I | etcdmain: setting maximum number of CPUs to 2, total number of available CPUs is 2
2018-12-18 10:35:19.241445 W | etcdmain: no data-dir provided, using default data-dir ./default.etcd
2018-12-18 10:35:19.242741 I | embed: listening for peers on http://localhost:2380
2018-12-18 10:35:19.243247 I | embed: listening for client requests on localhost:2379
2018-12-18 10:35:19.245647 I | etcdserver: name = default
2018-12-18 10:35:19.245681 I | etcdserver: data dir = default.etcd
2018-12-18 10:35:19.245698 I | etcdserver: member dir = default.etcd/member
2018-12-18 10:35:19.245712 I | etcdserver: heartbeat = 100ms
2018-12-18 10:35:19.245726 I | etcdserver: election = 1000ms
2018-12-18 10:35:19.245739 I | etcdserver: snapshot count = 10000
2018-12-18 10:35:19.245761 I | etcdserver: advertise client URLs = http://localhost:2379
2018-12-18 10:35:19.245778 I | etcdserver: initial advertise peer URLs = http://localhost:2380
2018-12-18 10:35:19.245802 I | etcdserver: initial cluster = default=http://localhost:2380
2018-12-18 10:35:19.247759 I | etcdserver: starting member 8e9e05c52164694d in cluster cdf818194e3a8c32
2018-12-18 10:35:19.247840 I | raft: 8e9e05c52164694d became follower at term 0
2018-12-18 10:35:19.247899 I | raft: newRaft 8e9e05c52164694d [peers: [], term: 0, commit: 0, applied: 0, lastindex: 0, lastterm: 0]
2018-12-18 10:35:19.247919 I | raft: 8e9e05c52164694d became follower at term 1
2018-12-18 10:35:19.260049 I | etcdserver: starting server... [version: 3.1.5, cluster version: to_be_decided]
2018-12-18 10:35:19.262525 I | etcdserver/membership: added member 8e9e05c52164694d [http://localhost:2380] to cluster cdf818194e3a8c32
2018-12-18 10:35:19.648531 I | raft: 8e9e05c52164694d is starting a new election at term 1
2018-12-18 10:35:19.648794 I | raft: 8e9e05c52164694d became candidate at term 2
2018-12-18 10:35:19.648844 I | raft: 8e9e05c52164694d received MsgVoteResp from 8e9e05c52164694d at term 2
2018-12-18 10:35:19.648886 I | raft: 8e9e05c52164694d became leader at term 2
2018-12-18 10:35:19.648910 I | raft: raft.node: 8e9e05c52164694d elected leader 8e9e05c52164694d at term 2
2018-12-18 10:35:19.649657 I | etcdserver: published {Name:default ClientURLs:[http://localhost:2379]} to cluster cdf818194e3a8c32
2018-12-18 10:35:19.649908 I | etcdserver: setting up the initial cluster version to 3.1
2018-12-18 10:35:19.650362 E | etcdmain: forgot to set Type=notify in systemd service file?
2018-12-18 10:35:19.650420 I | embed: ready to serve client requests
2018-12-18 10:35:19.650444 N | etcdserver/membership: set the initial cluster version to 3.1
2018-12-18 10:35:19.650534 I | etcdserver/api: enabled capabilities for version 3.1
2018-12-18 10:35:19.651339 N | embed: serving insecure client requests on 127.0.0.1:2379, this is strongly discouraged!
2018-12-18 10:35:25.204129 N | pkg/osutil: received interrupt signal, shutting down...
2018-12-18 10:35:25.204217 I | etcdserver: skipped leadership transfer for single member cluster

从上面的输出中,我们可以看到很多信息。以下是几个比较重要的信息:
name 表示节点名称,默认为 default
data-dir 保存日志和快照的目录,默认为当前工作目录 default.etcd 目录下
http://localhost:2380 和集群中其他节点通信
http://localhost:2379 提供 HTTP API 服务,供客户端交互
heartbeat 为 100ms,该参数的作用是 leader 多久发送一次心跳到 followers,默认值是 100ms
election 为 1000ms,该参数的作用是重新投票的超时时间,如果 follow 在该时间间隔没有收到心跳包,会触发重新投票,默认为 1000ms
snapshot count 为 10000,该参数的作用是指定有多少事务被提交时,触发截取快照保存到磁盘
集群和每个节点都会生成一个 uuid
启动的时候会运行 raft,选举出 leader

上面的方法只是简单的启动一个 etcd 服务,但要长期运行的话,还是做成一个服务好一些。下面将以 systemd 为例,介绍如何建立一个 etcd 服务

创建 systemd 服务

对二进制文件进行链接,方便使用

$ ln -s /opt/etcd/etcd /usr/local/bin/etcd
$ ln -s /opt/etcd/etcdctl /usr/local/bin/etcdctl

创建 etcd 配置目录

$ mkdir -p /var/lib/etcd/ && mkdir -p /opt/etcd/config/

创建 etcd 配置文件

$ cat <<EOF | sudo tee /opt/etcd/config/etcd.conf
ETCD_NAME=$(hostname -s)
ETCD_DATA_DIR=/var/lib/etcd
EOF

创建 systemd 配置文件

$ cat <<EOF | tee /etc/systemd/system/etcd.service
[Unit]
Description=Etcd Server
Documentation=https://github.com/coreos/etcd
After=network.target
[Service]
User=root
Type=notify
EnvironmentFile=-/opt/etcd/config/etcd.conf
ExecStart=/opt/etcd/etcd
Restart=on-failure
RestartSec=10s
LimitNOFILE=40000
[Install]
WantedBy=multi-user.target
EOF

启动 etcd

$ systemctl daemon-reload
$ systemctl enable etcd
Created symlink from /etc/systemd/system/multi-user.target.wants/etcd.service to /etc/systemd/system/etcd.service.
$ systemctl start etcd
$ systemctl status etcd
● etcd.ser● etcd.service - Etcd Server
    Loaded: loaded (/etc/systemd/system/etcd.service; enabled; vendor preset: disabled)
    Active: active (running) since Tue 2018-12-18 10:41:37 CST; 3s ago
    Docs: https://github.com/coreos/etcd
    Main PID: 2240 (etcd)
    Tasks: 7
    Memory: 2.5M
    CGroup: /system.slice/etcd.service
            └─2240 /opt/etcd/etcd
    
Dec 18 10:41:37 CeH-7-11.slonefan.com etcd[2240]: 8e9e05c52164694d received MsgVoteResp from 8e9e05c52164694d at term 2
Dec 18 10:41:37 CeH-7-11.slonefan.com etcd[2240]: 8e9e05c52164694d became leader at term 2
Dec 18 10:41:37 CeH-7-11.slonefan.com etcd[2240]: raft.node: 8e9e05c52164694d elected leader 8e9e05c52164694d at term 2
Dec 18 10:41:37 CeH-7-11.slonefan.com etcd[2240]: published {Name:CeH-7-11 ClientURLs:[http://localhost:2379]} to cluster ...a8c32
Dec 18 10:41:37 CeH-7-11.slonefan.com etcd[2240]: setting up the initial cluster version to 3.1
Dec 18 10:41:37 CeH-7-11.slonefan.com etcd[2240]: ready to serve client requests
Dec 18 10:41:37 CeH-7-11.slonefan.com etcd[2240]: serving insecure client requests on 127.0.0.1:2379, this is strongly dis...aged!
Dec 18 10:41:37 CeH-7-11.slonefan.com etcd[2240]: set the initial cluster version to 3.1
Dec 18 10:41:37 CeH-7-11.slonefan.com etcd[2240]: enabled capabilities for version 3.1
Dec 18 10:41:37 CeH-7-11.slonefan.com systemd[1]: Started Etcd Server.Hint: Some lines were ellipsized, use -l to show in full.

etcd基本使用

etcdctl 是一个命令行客户端,它能提供一些简洁的命令,供用户直接跟 etcd 服务打交道,而无需基于 HTTP API 方式。可以方便我们在对服务进行测试或者手动修改数据库内容。建议刚刚接触 etcd 时通过 etdctl 来熟悉相关操作。这些操作跟 HTTP API 基本上是对应的

etcd 项目二进制发行包中已经包含了 etcdctl 工具,etcdctl 支持的命令大体上分为数据库操作和非数据库操作两类

$ etcd --version 
etcd Version: 3.1.5
Git SHA: 20490ca
Go Version: go1.7.5
Go OS/Arch: linux/amd64

$ etcdctl --help
NAME:
    etcdctl - A simple command line client for etcd.
USAGE:
    etcdctl [global options] command [command options] [arguments...]
VERSION:
    3.1.5
       
COMMANDS:
    backup          backup an etcd directory
    cluster-health  check the health of the etcd cluster
    mk              make a new key with a given value
    mkdir           make a new directory
    rm              remove a key or a directory
    rmdir           removes the key if it is an empty directory or a key-value pair
    get             retrieve the value of a key
    ls              retrieve a directory
    set             set the value of a key
    setdir          create a new directory or update an existing directory TTL
    update          update an existing key with a given value
    updatedir       update an existing directory
    watch           watch a key for changes
    exec-watch      watch a key for changes and exec an executable
    member          member add, remove and list subcommands
    user            user add, grant and revoke subcommands
    role            role add, grant and revoke subcommands
    auth            overall auth controls
    help, h         Shows a list of commands or help for one command
    
GLOBAL OPTIONS:
    --debug                          output cURL commands which can be used to reproduce the request
    --no-sync                        don't synchronize cluster information before sending request
    --output simple, -o simple       output response in the given format (simple, `extended` or `json`) (default: "simple")
    --discovery-srv value, -D value  domain name to query for SRV records describing cluster endpoints
    --insecure-discovery             accept insecure SRV records describing cluster endpoints
    --peers value, -C value          DEPRECATED - "--endpoints" should be used instead
    --endpoint value                 DEPRECATED - "--endpoints" should be used instead
    --endpoints value                a comma-delimited list of machine addresses in the cluster (default: "http://127.0.0.1:2379,http://127.0.0.1:4001")
    --cert-file value                identify HTTPS client using this SSL certificate file
    --key-file value                 identify HTTPS client using this SSL key file
    --ca-file value                  verify certificates of HTTPS-enabled servers using this CA bundle
    --username value, -u value       provide username[:password] and prompt if password is not supplied.
    --timeout value                  connection timeout per request (default: 2s)
    --total-timeout value            timeout for the command execution (except watch) (default: 5s)
    --help, -h                       show help
    --version, -v                    print the version

常用命令选项:

--debug 输出 CURL 命令,显示执行命令的时候发起的请求
--no-sync 发出请求之前不同步集群信息
--output, -o 'simple' 输出内容的格式(simple 为原始信息,json 为进行 json 格式解码,易读性好一些)
--peers, -C 指定集群中的同伴信息,用逗号隔开(默认为: "127.0.0.1:4001")
--cert-file HTTPS 下客户端使用的 SSL 证书文件
--key-file HTTPS 下客户端使用的 SSL 密钥文件
--ca-file 服务端使用 HTTPS 时,使用 CA 文件进行验证
--help, -h 显示帮助命令信息
--version, -v 打印版本信息

数据库操作

数据库操作围绕对键值和目录的 CRUD(即 Create,Read,Update,Delete 是符合 REST 风格的一套 API 操作。) 完整生命周期的管理
etcd 在键的组织上采用了层次化的空间结构(类似于文件系统中目录的概念),用户指定的键可以为单独的名字,如: testkey,此时实际上放在根目录/下面,也可以为指定目录结构,如 /cluster1/node2/testkey,则将创建相应的目录结构
set 指定某个键的值。例如:

$ etcdctl set /testdir/testkey "Hello" 
Hello

支持的选项包括:

--ttl '0' 该键值的超时时间(单位为秒),不配置(默认为 0 )则永不超时
--swap-with-value value 若该键现在的值是 value,则进行设置操作
--swap-with-index '0'   若该键现在的索引值是指定索引,则进行设置操作

get 获取指定键的值。例如:

$ etcdctl get /testdir/testkey
Hello

当键不存在时,则会报错。例如:

$ etcdctl get /testd/testkey
Error:  100: Key not found (/testd/testkey) [4]

支持的选项为:

--sort 对结果进行排序
--consistent 将请求发给主节点,保证获取内容的一致性

update 当键存在时,更新值内容。例如:

$ etcdctl update /testd/testk "hello world"
hello world

当键不存在时,则会报错。例如:

$ etcdctl update /testd/testkey "hello world"
Error:  100: Key not found (/testd/testkey) [6]

支持的选项为:

--ttl '0' 超时时间(单位为秒),不配置(默认为 0)则永不超时

rm 删除某个键值。例如:

$ etcdctl rm /testd/testk
PrevNode.Value: hello world

当键不存在时,则会报错。例如:

$ etcdctl rm /testd/testkey
Error:  100: Key not found (/testd/testkey) [7]

支持的选项为:

--dir 如果键是个空目录或者键值对则删除 
--recursive 删除目录和所有子键 
--with-value  检查现有的值是否匹配 
--with-index '0'检查现有的index是否匹配

mk 如果给定的键不存在,则创建一个新的键值。例如:

$ etcdctl mk /testd/testkey "hellllo"
hellllo

当键存在的时候,执行该命令会报错,例如:

$ etcdctl mk /testd/testkey "hellllooo"
Error:  105: Key already exists (/testd/testkey) [8]

支持的选项为:

--ttl '0'  超时时间(单位为秒),不配置(默认为 0)。则永不超时

mkdir 如果给定的键目录不存在,则创建一个新的键目录。例如:

$ etcdctl mkdir testdir

当键目录存在的时候,执行该命令会报错,例如:

$ etcdctl mkdir testdir
Error:  105: Key already exists (/testdir) [9]

支持的选项为:

--ttl '0' 超时时间(单位为秒),不配置(默认为0)则永不超时

setdir 创建一个键目录。如果目录不存在就创建,如果目录存在更新目录 TTL

$ etcdctl setdir testdir2

支持的选项为:

--ttl '0' 超时时间(单位为秒),不配置(默认为0)则永不超时

updatedir 更新一个已经存在的目录

$ etcdctl updatedir testdir2

支持的选项为:

--ttl '0' 超时时间(单位为秒),不配置(默认为0)则永不超时

rmdir 删除一个空目录,或者键值对

$ etcdctl setdir dir1 
$ etcdctl rmdir dir1

若目录不空,会报错:

$ etcdctl set /dir/key woo
woo
$ etcdctl rmdir /dir
Error:  108: Directory not empty (/dir) [14]

ls 列出目录(默认为根目录)下的键或者子目录,默认不显示子目录中内容
例如:

$ etcdctl ls /testd
/testd/testkey
$ etcdctl ls testd
/testd/testkey

支持的选项包括:

--sort 将输出结果排序
--recursive 如果目录下有子目录,则递归输出其中的内容
-p 对于输出为目录,在最后添加/进行区分

非数据库操作

backup 备份 etcd 的数据

$ etcdctl backup --data-dir /var/lib/etcd  --backup-dir /root/etcd_backup
$ ls
etcd_backup

支持的选项包括:

--data-dir  etcd的数据目录
--backup-dir 备份到指定路径

watch 监测一个键值的变化,一旦键值发生更新,就会输出最新的值并退出。例如:用户更新 testkey 键值为 Hello watch

#终端1
$ etcdctl get /testd/testkey
hellllo
#终端2
$ etcdctl watch /testd/testkey
#终端1
$ etcdctl set /testd/testkey "hellllo waaatch"
hellllo waaatch
#终端2更新并退出
$ etcdctl watch /testd/testkey
hellllo waaatch

支持的选项包括:

--forever  一直监测直到用户按CTRL+C退出
--after-index '0' 在指定index之前一直监测
--recursive 返回所有的键值和子键值

exec-watch 监测一个键值的变化,一旦键值发生更新,就执行给定命令。例如:用户更新testkey键值

$ etcdctl exec-watch testdir/testkey -- sh -c 'ls /opt/etcd' 
config    Documentation  etcd  etcdctl  README-etcdctl.md  README.md  READMEv2-etcdctl.md

支持的选项包括:

--after-index '0' 在指定 index 之前一直监测
--recursive 返回所有的键值和子键值

member 通过list、add、remove命令列出、添加、删除etcd实例到etcd集群中

查看集群中存在的节点

$ etcdctl member list
8e9e05c52164694d: name=CeH-7-11 peerURLs=http://localhost:2380 clientURLs=http://localhost:2379 isLeader=true

删除集群中存在的节点

$ etcdctl member remove 9e9e05c52164694d
Removed member 9e9e05c52164694d from cluster

向集群中新加节点

$ etcdctl member add etcd2 http://192.168.10.12:2380
Added member named etcd2 with ID 7e9e05c52164694d to cluster
文章目录