看完這一篇后，相信你對 Docker 虛擬網(wǎng)絡(luò)能有進(jìn)一步的理解。好了，我們開始！

一、基礎(chǔ)知識回顧

1.1 veth、bridge 與 namespace

Linux 下的?veth?是一對兒虛擬網(wǎng)卡設(shè)備，和我們常見的 lo 很類似。在這兒設(shè)備里，從一端發(fā)送數(shù)據(jù)后，內(nèi)核會尋找該設(shè)備的另一半，所以在另外一端就能收到。不過 veth 只能解決一對一通信的問題。詳情參見輕松理解 Docker 網(wǎng)絡(luò)虛擬化基礎(chǔ)之 veth 設(shè)備！

如果有很多對兒 veth 需要互相通信的話，就需要引入?bridge?這個虛擬交換機(jī)。各個 veth 對兒可以把一頭連接在 bridge 的接口上，bridge 可以和交換機(jī)一樣在端口之間轉(zhuǎn)發(fā)數(shù)據(jù)，使得各個端口上的 veth 都可以互相通信。參見

Namespace?解決的是隔離性的問題。每個虛擬網(wǎng)卡設(shè)備、進(jìn)程、socket、路由表等等網(wǎng)絡(luò)棧相關(guān)的對象默認(rèn)都是歸屬在 init_net 這個缺省的 namespace 中的。不過我們希望不同的虛擬化環(huán)境之間是隔離的，用 Docker 來舉例，那就是不能讓 A 容器用到 B 容器的設(shè)備、路由表、socket 等資源，甚至連看一眼都不可以。只有這樣才能保證不同的容器之間復(fù)用資源的同時，還不會影響其它容器的正常運(yùn)行。參見

通過 veth、namespace 和 bridge 我們在一臺 Linux 上就能虛擬多個網(wǎng)絡(luò)環(huán)境出來。而且它們之間、和宿主機(jī)之間都可以互相通信。

但是這三篇文章過后，我們還剩下一個問題沒有解決，那就是虛擬出來的網(wǎng)絡(luò)環(huán)境和外部網(wǎng)絡(luò)的通信。還拿 Docker 容器來舉例，你啟動的容器里的服務(wù)肯定是需要訪問外部的數(shù)據(jù)庫的。還有就是可能需要暴露比如 80 端口對外提供服務(wù)。例如在 Docker 中我們通過下面的命令將容器的 80 端口上的 web 服務(wù)要能被外網(wǎng)訪問的到。

我們今天的文章主要就是解決這兩個問題的，一是從虛擬網(wǎng)絡(luò)中訪問外網(wǎng)，二是在虛擬網(wǎng)絡(luò)中提供服務(wù)供外網(wǎng)使用。解決它們需要用到路由和?nat?技術(shù)。

1.2 路由選擇

Linux 是在發(fā)送數(shù)據(jù)包的時候，會涉及到路由過程。這個發(fā)送數(shù)據(jù)包既包括本機(jī)發(fā)送數(shù)據(jù)包，也包括途徑當(dāng)前機(jī)器的數(shù)據(jù)包的轉(zhuǎn)發(fā)。

先來看本機(jī)發(fā)送數(shù)據(jù)包。其中本機(jī)發(fā)送在25 張圖，一萬字，拆解 Linux 網(wǎng)絡(luò)包發(fā)送過程這一篇我們討論過。

所謂路由其實(shí)很簡單，就是該選擇哪張網(wǎng)卡（虛擬網(wǎng)卡設(shè)備也算）將數(shù)據(jù)寫進(jìn)去。到底該選擇哪張網(wǎng)卡呢，規(guī)則都是在路由表中指定的。Linux 中可以有多張路由表，最重要和常用的是 local 和 main。

local 路由表中統(tǒng)一記錄本地，確切的說是本網(wǎng)絡(luò)命名空間中的網(wǎng)卡設(shè)備 IP 的路由規(guī)則。

#ip?route?list?table?local
local?10.143.x.y?dev?eth0?proto?kernel?scope?host?src?10.143.x.y
local?127.0.0.1?dev?lo?proto?kernel?scope?host?src?127.0.0.1

其它的路由規(guī)則，一般都是在 main 路由表中記錄著的?？梢杂?ip route list table local?查看，也可以用更簡短的?route -n

不過值得注意的是，Linux 上轉(zhuǎn)發(fā)功能默認(rèn)是關(guān)閉的。也就是發(fā)現(xiàn)目的地址不是本機(jī) IP 地址默認(rèn)是將包直接丟棄。需要做一些簡單的配置，然后 Linux 才可以干像路由器一樣的活兒，實(shí)現(xiàn)數(shù)據(jù)包的轉(zhuǎn)發(fā)。

1.3 iptables 與 NAT

Linux 內(nèi)核網(wǎng)絡(luò)棧在運(yùn)行上基本上是一個純內(nèi)核態(tài)的東西，但為了迎合各種各樣用戶層不同的需求，內(nèi)核開放了一些口子出來供用戶層來干預(yù)。其中 iptables 就是一個非常常用的干預(yù)內(nèi)核行為的工具，它在內(nèi)核里埋下了五個鉤子入口，這就是俗稱的五鏈。

Linux 在接收數(shù)據(jù)的時候，在 IP 層進(jìn)入 ip_rcv 中處理。再執(zhí)行路由判斷，發(fā)現(xiàn)是本機(jī)的話就進(jìn)入 ip_local_deliver 進(jìn)行本機(jī)接收，最后送往 TCP 協(xié)議層。在這個過程中，埋了兩個 HOOK，第一個是 PRE_ROUTING。這段代碼會執(zhí)行到 iptables 中 pre_routing 里的各種表。發(fā)現(xiàn)是本地接收后接著又會執(zhí)行到 LOCAL_IN，這會執(zhí)行到 iptables 中配置的 input 規(guī)則。

在發(fā)送數(shù)據(jù)的時候，查找路由表找到出口設(shè)備后，依次通過 __ip_local_out、 ip_output 等函數(shù)將包送到設(shè)備層。在這兩個函數(shù)中分別過了 OUTPUT 和 POSTROUTING 開的各種規(guī)則。

如果是轉(zhuǎn)發(fā)過程，Linux 收到數(shù)據(jù)包發(fā)現(xiàn)不是本機(jī)的包可以通過查找自己的路由表找到合適的設(shè)備把它轉(zhuǎn)發(fā)出去。那就先是在 ip_rcv 中將包送到 ip_forward 函數(shù)中處理，最后在 ip_output 函數(shù)中將包轉(zhuǎn)發(fā)出去。在這個過程中分別過了 PREROUTING、FORWARD 和 POSTROUTING 三個規(guī)則。

綜上所述，iptables 里的五個鏈在內(nèi)核網(wǎng)絡(luò)模塊中的位置就可以歸納成如下這幅圖。

在 iptables 中，根據(jù)實(shí)現(xiàn)的功能的不同，又分成了四張表。分別是 raw、mangle、nat 和 filter。其中 nat 表實(shí)現(xiàn)我們常說的 NAT（Network AddressTranslation） 功能。其中 nat 又分成 SNAT（Source NAT）和 DNAT（Destination NAT）兩種。

SNAT 解決的是內(nèi)網(wǎng)地址訪問外部網(wǎng)絡(luò)的問題。它是通過在 POSTROUTING 里修改來源 IP 來實(shí)現(xiàn)的。

DNAT 解決的是內(nèi)網(wǎng)的服務(wù)要能夠被外部訪問到的問題。它在通過 PREROUTING 修改目標(biāo) IP 實(shí)現(xiàn)的。

二、 實(shí)現(xiàn)虛擬網(wǎng)絡(luò)外網(wǎng)通信

基于以上的基礎(chǔ)知識，我們用純手工的方式搭建一個可以和 Docker 類似的虛擬網(wǎng)絡(luò)。而且要實(shí)現(xiàn)和外網(wǎng)通信的功能。

1. 實(shí)驗(yàn)環(huán)境準(zhǔn)備

我們先來創(chuàng)建一個虛擬的網(wǎng)絡(luò)環(huán)境出來，其命名空間為 net1。宿主機(jī)的 IP 是 10.162 的網(wǎng)段，可以訪問外部機(jī)器。虛擬網(wǎng)絡(luò)為其分配 192.168.0 的網(wǎng)段，這個網(wǎng)段是私有的，外部機(jī)器無法識別。

這個虛擬網(wǎng)絡(luò)的搭建過程如下。先創(chuàng)建一個 netns 出來，命名為 net1。

#?ip?netns?add?net1

創(chuàng)建一個 veth 對兒（veth1 - veth1_p），把其中的一頭 veth1 放在 net1 中，給它配置上 IP，并把它啟動起來。

#?ip?link?add?veth1?type?veth?peer?name?veth1_p
#?ip?link?set?veth1?netns?net1
#?ip?netns?exec?net1?ip?addr?add?192.168.0.2/24?dev?veth1??#?IP
#?ip?netns?exec?net1?ip?link?set?veth1?up

創(chuàng)建一個 bridge，給它也設(shè)置上 ip。接下來把 veth 的另外一端 veth1_p 插到 bridge 上面。最后把網(wǎng)橋和 veth1_p 都啟動起來。

#?brctl?addbr?br0
#?ip?addr?add?192.168.0.1/24?dev?br0
#?ip?link?set?dev?veth1_p?master?br0
#?ip?link?set?veth1_p?up
#?ip?link?set?br0?up

2. 請求外網(wǎng)資源

現(xiàn)在假設(shè)我們上面的 net1 這個網(wǎng)絡(luò)環(huán)境中想訪問外網(wǎng)。這里的外網(wǎng)是指的虛擬網(wǎng)絡(luò)宿主機(jī)外部的網(wǎng)絡(luò)。

我們假設(shè)它要訪問的另外一臺機(jī)器 IP 是 10.153.*.*?，這個 10.153.*.*?后面兩段由于是我的內(nèi)部網(wǎng)絡(luò)，所以隱藏起來了。你在實(shí)驗(yàn)的過程中，用自己的 IP 代替即可。

我們直接來訪問一下試試

#?ip?netns?exec?net1?ping?10.153.*.*
connect:?Network?is?unreachable

提示網(wǎng)絡(luò)不通，這是怎么回事？用這段報錯關(guān)鍵字在內(nèi)核源碼里搜索一下：

//file:?arch/parisc/include/uapi/asm/errno.h
#define?ENETUNREACH?229?/*?Network?is?unreachable?*/

//file:?net/ipv4/ping.c
static?int?ping_sendmsg(struct?kiocb?*iocb,?struct?sock?*sk,?struct?msghdr?*msg,
???size_t?len)
{
?...
?rt?=?ip_route_output_flow(net,?&fl4,?sk);
?if?(IS_ERR(rt))?{
??err?=?PTR_ERR(rt);
??rt?=?NULL;
??if?(err?==?-ENETUNREACH)
???IP_INC_STATS_BH(net,?IPSTATS_MIB_OUTNOROUTES);
??goto?out;
?}
?...
out:?
?return?err;?
}

在 ip_route_output_flow 這里的返回值判斷如果是 ENETUNREACH 就退出了。這個宏定義注釋上來看報錯的信息就是 “Network is unreachable”。

這個 ip_route_output_flow 主要是執(zhí)行路由選路。所以我們推斷可能是路由出問題了，看一下這個命名空間的路由表。

#?ip?netns?exec?net1?route?-n
Kernel?IP?routing?table
Destination?????Gateway?????????Genmask?????????Flags?Metric?Ref????Use?Iface
192.168.0.0?????0.0.0.0?????????255.255.255.0???U?????0??????0????????0?veth1

怪不得，原來 net1 這個 namespace 下默認(rèn)只有 192.168.0.* 這個網(wǎng)段的路由規(guī)則。我們 ping 的 IP 是 10.153.*.*?，根據(jù)這個路由表里找不到出口。自然就發(fā)送失敗了。

我們來給 net 添加上默認(rèn)路由規(guī)則，只要匹配不到其它規(guī)則就默認(rèn)送到 veth1 上，同時指定下一條是它所連接的 bridge（192.168.0.1）。

#?ip?netns?exec?net1?route?add?default?gw?192.168.0.1?veth1?

再 ping 一下試試。

#?ip?netns?exec?net1?ping?10.153.*.*?-c?2
PING?10.153.*.*?(10.153.*.*)?56(84)?bytes?of?data.

---?10.153.*.*?ping?statistics?---
2?packets?transmitted,?0?received,?100%?packet?loss,?time?999ms

額好吧，仍然不通。上面路由幫我們把數(shù)據(jù)包從 veth 正確送到了 bridge 這個網(wǎng)橋上。接下來網(wǎng)橋還需要 bridge 轉(zhuǎn)發(fā)到 eth0 網(wǎng)卡上。所以我們得打開下面這兩個轉(zhuǎn)發(fā)相關(guān)的配置

#?sysctl?net.ipv4.conf.all.forwarding=1
#?iptables?-P?FORWARD?ACCEPT

不過這個時候，還存在一個問題。那就是外部的機(jī)器并不認(rèn)識 192.168.0.* 這個網(wǎng)段的 ip。它們之間都是通過 10.153.*.*?來進(jìn)行通信的。設(shè)想下我們工作中的電腦上沒有外網(wǎng) IP 的時候是如何正常上網(wǎng)的呢？外部的網(wǎng)絡(luò)只認(rèn)識外網(wǎng) IP。沒錯，那就是我們上面說的 NAT 技術(shù)。

我們這次的需求是實(shí)現(xiàn)內(nèi)部虛擬網(wǎng)絡(luò)訪問外網(wǎng)，所以需要使用的是 SNAT。它將 namespace 請求中的 IP（192.168.0.2）換成外部網(wǎng)絡(luò)認(rèn)識的 10.153.*.*，進(jìn)而達(dá)到正常訪問外部網(wǎng)絡(luò)的效果。

#?iptables?-t?nat?-A?POSTROUTING?-s?192.168.0.0/24?!?-o?br0?-j?MASQUERADE

來再 ping 一下試試，歐耶，通了！

#?ip?netns?exec?net1?ping?10.153.*.*
PING?10.153.*.*?(10.153.*.*)?56(84)?bytes?of?data.
64?bytes?from?10.153.*.*:?icmp_seq=1?ttl=57?time=1.70?ms
64?bytes?from?10.153.*.*:?icmp_seq=2?ttl=57?time=1.68?ms

這時候我們可以開啟 tcpdump 抓包查看一下，在 bridge 上抓到的包我們能看到還是原始的源 IP 和 目的 IP。

再到 eth0 上查看的話，源 IP 已經(jīng)被替換成可和外網(wǎng)通信的 eth0 上的 IP 了。

至此，容器就可以通過宿主機(jī)的網(wǎng)卡來訪問外部網(wǎng)絡(luò)上的資源了。我們來總結(jié)一下這個發(fā)送過程

3. 開放容器端口

我們再考慮另外一個需求，那就是把在這個命名空間內(nèi)的服務(wù)提供給外部網(wǎng)絡(luò)來使用。

和上面的問題一樣，我們的虛擬網(wǎng)絡(luò)環(huán)境中 192.168.0.2 這個 IP 外界是不認(rèn)識它的。只有這個宿主機(jī)知道它是誰。所以我們同樣還需要 NAT 功能。

這次我們是要實(shí)現(xiàn)外部網(wǎng)絡(luò)訪問內(nèi)部地址，所以需要的是 DNAT 配置。DNAT 和 SNAT 配置中有一個不一樣的地方就是需要明確指定容器中的端口在宿主機(jī)上是對應(yīng)哪個。比如在 docker 的使用中，是通過 -p 來指定端口的對應(yīng)關(guān)系。

#?docker?run?-p?8000:80?...

我們通過如下這個命令來配置 DNAT 規(guī)則

#?iptables?-t?nat?-A?PREROUTING??!?-i?br0?-p?tcp?-m?tcp?--dport?8088?-j?DNAT?--to-destination?192.168.0.2:80

這里表示的是宿主機(jī)在路由之前判斷一下如果流量不是來自 br0，并且是訪問 tcp 的 8088 的話，那就轉(zhuǎn)發(fā)到 192.168.0.2:80 。

在 net1 環(huán)境中啟動一個 Server

#?ip?netns?exec?net1?nc?-lp?80

外部選一個ip，比如 10.143.*.*， telnet 連一下 10.162.*.* 8088 試試，通了！

#?telnet?10.162.*.*?8088
Trying?10.162.*.*...
Connected?to?10.162.*.*.
Escape?character?is?'^]'.

開啟抓包，?# tcpdump -i eth0 host 10.143.*.*?？梢娫谡埱蟮臅r候，目的是宿主機(jī)的 IP 的端口。

但數(shù)據(jù)包到宿主機(jī)協(xié)議棧以后命中了我們配置的 DNAT 規(guī)則，宿主機(jī)把它轉(zhuǎn)發(fā)到了 br0 上。在 bridge 上由于沒有那么多的網(wǎng)絡(luò)流量包，所以不用過濾直接抓包就行，# tcpdump -i br0。

在 br0 上抓到的目的 IP 和端口是已經(jīng)替換過的了。

bridge 當(dāng)然知道 192.168.0.2 是 veth 1。于是，在 veth1 上監(jiān)聽 80 的服務(wù)就能收到來自外界的請求了！我們來總結(jié)一下這個接收過程

三、總結(jié)

現(xiàn)在業(yè)界已經(jīng)有很多公司都遷移到容器上了。我們的開發(fā)寫出來的代碼大概率是要運(yùn)行在容器上的。因此深刻理解容器網(wǎng)絡(luò)的工作原理非常的重要。這有這樣將來遇到問題的時候才知道該如何下手處理。

本文開頭我們先是簡單介紹了 veth、bridge、namespace、路由、iptables 等基礎(chǔ)知識。Veth 實(shí)現(xiàn)連接，bridge 實(shí)現(xiàn)轉(zhuǎn)發(fā)，namespace 實(shí)現(xiàn)隔離，路由表控制發(fā)送時的設(shè)備選擇，iptables 實(shí)現(xiàn) nat 等功能。

接著基于以上基礎(chǔ)知識，我們采用純手工的方式搭建了一個虛擬網(wǎng)絡(luò)環(huán)境。

整個實(shí)驗(yàn)我打包寫成一個 Makefile，放到了這里：https://github.com/yanfeizhang/coder-kung-fu/tree/main/tests/network/test07