基于Swarm的多主机容器网络
作者：杨冬 欢迎转载，也请保留这段声明。谢谢！
出处：https://andyyoung01.github.io/ 或 http://andyyoung01.16mb.com/
在Docker版本1.12之后，Swarm集成进了Docker引擎，而跨主机的容器网络也有所发展。在Docker较老的版本中，要实现跨主机的容器网络可以使用第三方的基于SDN的解决方案，而最新版的Docker引擎在swarm模式下原生支持overlay networks，本篇就来实践一下。
在Docker1.12版之后，Docker引擎原生支持跨主机的容器网络，但创建跨主机的容器网络时，需要满足一些前提条件：
- Docker引擎以swarm模式运行
或 - 在集群中有一个key-value存储系统
以上两个条件满足任意一个即可以创建跨主机的容器网络。本篇以第一个条件为前提创建跨主机的容器网络。如果想了解基于key-value存储系统的跨主机网络，可以参考文章“理解Docker跨多主机容器网络”或官方文档。
通过在Swarm模式的Docker引擎创建的跨主机容器网络，并不需要外部的key-value存储系统，这种swarm模式的overlay networks包含以下特性：
- 可以将多个服务连接到同一个网络中。
- 默认情况下，容器网络的服务发现机制给swarm集群中的每个服务都分配一个虚拟IP地址和一个DNS条目，所以在同一网络中的容器可以通过服务名称访问服务。
- 可以将服务配置成使用DNS轮询机制而不是VIP机制来进行负载均衡。
在Swarm集群中创建overlay网络
下面就在swarm集群中实际创建一个overlay network。这里使用文章“新版Docker的Swarm模式”中创建的Swarm集群。
可以通过如下命令在manager节点上创建overlay网络：
[yangdong@centos7 ~]$ docker network create \
> --driver overlay \
> --subnet 10.0.9.0/24 \
> my-network
5fke0hya379rbmfhdemevngjx
--subnet命令行参数指定overlay网络使用的子网网段。创建完成后使用docker network ls查看创建的网络：
[yangdong@centos7 ~]$ docker network ls
NETWORK ID NAME DRIVER SCOPE
2a820cde1d0c bridge bridge local
...
5fke0hya379r my-network overlay swarm
在将服务连接到这个创建的网络之前，网络覆盖到manager节点。上面输出的SCOPE为swarm表示将服务部署到Swarm时可以使用此网络。在将服务连接到这个网络后，Swarm只将该网络扩展到特定的worker节点，这个worker节点被swarm调度器分配了运行服务的任务。在那些没有运行该服务任务的worker节点上，网络并不扩展到该节点。
将服务连接到overlay网络
在创建服务时可以通过--network参数将服务连接到某个网络：
[yangdong@centos7 ~]$ docker service create \
> --replicas 3 \
> --name my-web \
> --network my-network \
> nginx
51fcns6k7bqknqnmsjbyo0unf
上面名为“my-web”的服务启动了3个task，用于运行每个任务的容器都可以彼此通过overlay网络进行通信。Swarm集群将网络扩展到所有任务处于Running状态的节点上。
在manager节点上，通过下面的命令查看哪些节点有处于running状态的任务：
[yangdong@centos7 ~]$ docker service ps my-web
ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR
78s6t4si84br75njmc79zux54 my-web.1 nginx centos7-A Running Running about a minute ago
99ogxe6mcc3v30e3ugtx53qg7 my-web.2 nginx centos7-B Running Running about a minute ago
ag94ocnqubfp4naf6v1utqbog my-web.3 nginx centos7 Running Running about a minute ago
可见三个节点都有处于running状态的任务，所以my-network网络扩展到三个节点上。
可以查询某个节点上关于my-network的详细信息：
[yangdong@centos7 ~]$ docker network inspect my-network
[
{
"Name": "my-network",
"Id": "5fke0hya379rbmfhdemevngjx",
"Scope": "swarm",
"Driver": "overlay",
"EnableIPv6": false,
"IPAM": {
"Driver": "default",
"Options": null,
"Config": [
{
"Subnet": "10.0.9.0/24",
"Gateway": "10.0.9.1"
}
]
},
"Internal": false,
"Containers": {
"f6cb2bc95344e74d2790403ae1072c14cd696247ae62482b7cbf198621b39456": {
"Name": "my-web.3.ag94ocnqubfp4naf6v1utqbog",
"EndpointID": "020adbf9337f08fdf31b1e6282a7e28599e60f93d582ebe101a17f7c4eace2e2",
"MacAddress": "02:42:0a:00:09:05",
"IPv4Address": "10.0.9.5/24",
"IPv6Address": ""
}
},
"Options": {
"com.docker.network.driver.overlay.vxlanid_list": "257"
},
"Labels": {}
}
]
从上面的信息可以看出在节点centos7上，名为my-web的服务有一个名为my-web.3.ag94ocnqubfp4naf6v1utqbog的task连接到名为my-network的网络上。
可以通过查询服务来获得服务的虚拟IP地址，如下：
[yangdong@centos7 ~]$ docker service inspect \
> --format='{{json .Endpoint.VirtualIPs}}' \
> my-web
[{"NetworkID":"5fke0hya379rbmfhdemevngjx","Addr":"10.0.9.2/24"}]
整个网络结构如下图所示：
加入my-network网络的容器彼此之间可以通过IP地址通信，也可以通过名称通信。
使用swarm模式的服务发现
默认情况下，当创建了一个服务并连接到某个网络后，swarm会为该服务分配一个VIP。此VIP根据服务名映射到DNS。在网络上的容器共享该服务的DNS映射，所以网络上的任意容器可以通过服务名访问服务。
在同一overlay网络中，不用通过端口映射来使某个服务可以被其它服务访问。Swarm内部的负载均衡器自动将请求发送到服务的VIP上，然后分发到所有的active的task上。
下面的实例展示了在同一个网络中添加了一个busybox服务，此服务可以通过名称my-web访问前面创建的nginx服务：
在manager节点上，部署一个busybox服务到与my-web服务相同的网络中，也就是my-network中：
123456[yangdong@centos7 ~]$ docker service create \> --name my-busybox \> --network my-network \> busybox \> sleep 30003rdnz62u2n8d916d5zxbo9lax查询busybox运行在哪个节点上：
123[yangdong@centos7 ~]$ docker service ps my-busyboxID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR1ph2hdtwagafkhd5hkfcx6131 my-busybox.1 busybox centos7 Running Running about a minute ago登录busybox运行的节点，打开busybox的交互shell：
12[yangdong@centos7 ~]$ docker exec -it my-busybox.1.1ph2hdtwagafkhd5hkfcx6131 /bin/sh/ #从busybox容器内部，查询DNS来查看my-web的VIP：
123456/ # nslookup my-webServer: 127.0.0.11Address 1: 127.0.0.11Name: my-webAddress 1: 10.0.9.2 10.0.9.2从busybox容器内部，使用特殊查询
查询DNS，来找到my-web服务的所有容器的IP地址： 12345678/ # nslookup tasks.my-webServer: 127.0.0.11Address 1: 127.0.0.11Name: tasks.my-webAddress 1: 10.0.9.3 my-web.1.78s6t4si84br75njmc79zux54.my-networkAddress 2: 10.0.9.4 my-web.2.99ogxe6mcc3v30e3ugtx53qg7.my-networkAddress 3: 10.0.9.5 my-web.3.ag94ocnqubfp4naf6v1utqbog.my-network从busybox容器内部，通过wget来访问my-web服务中运行的nginx网页服务器
1234567/ # wget -O- my-webConnecting to my-web (10.0.9.2:80)<!DOCTYPE html><html><head><title>Welcome to nginx!</title>...
Swarm的负载均衡器自动将HTTP请求路由到VIP上，然后到一个active的task容器上。它根据round-robin选择算法将后续的请求分发到另一个active的task上。
为服务使用DNS round-robin
在创建服务时，可以配置服务直接使用DNS round-robin而无需使用VIP。这是通过在创建服务时指定--endpoint-mode dnsrr命令行参数实现的。当你想要使用自己的负载均衡器时可以使用这种方式。
下面的例子创建了一个dnsrr终端模式的服务：
[yangdong@centos7 ~]$ docker service create \
> --replicas 3 \
> --name my-dnsrr-service \
> --network my-network \
> --endpoint-mode dnsrr \
> nginx
3uk1nzvd2iwg87evkcu8z1y90
当通过服务名称查询DNS时，DNS服务返回所有任务容器的IP地址：
/ # nslookup my-dnsrr-service
Server: 127.0.0.11
Address 1: 127.0.0.11
Name: my-dnsrr-service
Address 1: 10.0.9.10 my-dnsrr-service.3.0sm1n9o8hygzarv5t5eq46okn.my-network
Address 2: 10.0.9.9 my-dnsrr-service.2.b3o1uoa8m003b2kk0ytl9lawh.my-network
Address 3: 10.0.9.8 my-dnsrr-service.1.55za4c83jq9846rle6eigiq15.my-network
确认VIP的连通性
通常Docker官方推荐使用dig，nslookup或其它DNS查询工具来查询通过DNS对服务名的访问。因为VIP是逻辑IP，ping并不是确认VIP连通性的正确的工具。
本篇文章的大部分内容翻译自官方文档，如有不当的地方欢迎批评指正。