為什么 Linux 需要 Swapping
對 Linux 稍有了解的人都知道，Linux 會將物理的隨機(jī)讀取內(nèi)存（Random Access Memory、RAM）按頁分割成 4KB 大小的內(nèi)存塊，而今天要介紹的 Swapping 機(jī)制就與內(nèi)存息息相關(guān)，它是操作系統(tǒng)將物理內(nèi)存頁中的內(nèi)容拷貝到硬盤上交換空間（Swap Space）以釋放內(nèi)存的過程，物理內(nèi)存和硬盤上的交換分區(qū)組成了操作系統(tǒng)上可用的虛擬內(nèi)存，而這些交換空間都是系統(tǒng)管理員預(yù)先配置好的[^1]。
正是因?yàn)?Linux 上的所有進(jìn)程都會通過虛擬內(nèi)存這一層抽象間接與物理內(nèi)存打交道，而 Swapping 也充分利用了該特性，它能夠讓應(yīng)用程序看到操作系統(tǒng)內(nèi)存充足的假象，然而并不知道它使用的部分虛擬內(nèi)存其實(shí)在磁盤上，因?yàn)閮?nèi)存和磁盤的讀寫速度上的巨大差異，這部分虛擬內(nèi)存的讀寫非常緩慢，我們在 為什么 CPU 訪問硬盤很慢 曾經(jīng)介紹過：
在 SSD 中隨機(jī)訪問 4KB 數(shù)據(jù)所需要的時間是訪問主存的 1,500 倍，機(jī)械磁盤的尋道時間是訪問主存的 100,000 倍[^2]
如此巨大的性能差異使得觸發(fā) Swapping 的進(jìn)程可能會遇到性能損失，同一個頁面的頻繁換入換出會導(dǎo)致極其明顯的性能抖動，如果沒有相應(yīng)的背景知識，遇到類似的問題可能會很難查到根本原因，例如 MySQL 在錯誤配置 NUMA 時就會出現(xiàn)內(nèi)存頁頻繁換入換出，影響服務(wù)質(zhì)量的問題。
Linux 提供了兩種不同的方法啟用 Swapping，分別是 Swap 分區(qū)（Swap Partition）和 Swap 文件（Swapfile）：
Swap 分區(qū)是硬盤上的獨(dú)立區(qū)域，該區(qū)域只會用于交換分區(qū)，其他的文件不能存儲在該區(qū)域上，我們可以使用 swapon -s命令查看當(dāng)前系統(tǒng)上的交換分區(qū)；Swap 文件是文件系統(tǒng)中的特殊文件，它與文件系統(tǒng)中的其他文件也沒有太多的區(qū)別；
Swap 分區(qū)的大小是需要系統(tǒng)管理員手動設(shè)定的，然而不同的場景最好設(shè)置不同交換分區(qū)大小，例如：桌面系統(tǒng)的交換分區(qū)大小可以是系統(tǒng)內(nèi)存的兩倍，這可以讓我們同時運(yùn)行更多的應(yīng)用程序；服務(wù)器的交換分區(qū)應(yīng)該關(guān)閉或者使用少量的交換分區(qū)，不過一旦啟用交換分區(qū)，就應(yīng)該引入監(jiān)控監(jiān)控應(yīng)用程序的性能。
我們到現(xiàn)在已經(jīng)對 Linux 上的 Swapping 有了一定的了解，接下來回到這篇文章想要討論的問題 — 『為什么 Linux 需要 Swapping』，我們將從以下兩個方面介紹 Swapping 解決的問題、觸發(fā)入口和執(zhí)行路徑：
Swapping 可以直接將進(jìn)程中使用相對較少的頁面換出內(nèi)存，立刻給正在執(zhí)行的進(jìn)程分配內(nèi)存； Swapping 可以將進(jìn)程中的閑置頁面換出內(nèi)存，為其他進(jìn)程未來使用內(nèi)存做好準(zhǔn)備；
內(nèi)存不足
當(dāng)系統(tǒng)需要的內(nèi)存超過了可用的物理內(nèi)存時，內(nèi)核會將內(nèi)存中不常使用的內(nèi)存頁交換到磁盤上為當(dāng)前進(jìn)程讓出內(nèi)存，保證正在執(zhí)行的進(jìn)程的可用性，這個內(nèi)存回收的過程是強(qiáng)制的直接內(nèi)存回收（Direct Page Reclaim）。
直接內(nèi)存回收是在 Linux 調(diào)用 __alloc_pages_nodemask 申請新內(nèi)存頁時觸發(fā)的，該函數(shù)會先在空閑頁列表中查找是否有可用的頁面，如果不存在可用頁面，就會進(jìn)入 __alloc_pages_slowpath 函數(shù)分配內(nèi)存頁，與從空閑列表中直接查找內(nèi)存也相比，該函數(shù)會通過以下步驟分配內(nèi)存：
static?inline?struct?page?*?__alloc_pages_slowpath(gfp_t?gfp_mask,?unsigned?int?order,?struct?alloc_context?*ac)?{
????...
????if?(alloc_flags?&?ALLOC_KSWAPD)
????????wake_all_kswapds(order,?gfp_mask,?ac);
????page?=?get_page_from_freelist(gfp_mask,?order,?alloc_flags,?ac);
????if?(page)?goto?got_pg;
????if?(can_direct_reclaim?&&?(costly_order?||?(order?>?0?&&?ac->migratetype?!=?MIGRATE_MOVABLE))?&&?!gfp_pfmemalloc_allowed(gfp_mask))?{
????????page?=?__alloc_pages_direct_compact(gfp_mask,?order,?alloc_flags,?ac,?INIT_COMPACT_PRIORITY,?&compact_result);
????????if?(page)?goto?got_pg;
????????...
????}
?retry:
????page?=?__alloc_pages_direct_reclaim(gfp_mask,?order,?alloc_flags,?ac,?&did_some_progress);
????page?=?__alloc_pages_direct_compact(gfp_mask,?order,?alloc_flags,?ac,?compact_priority,?&compact_result);
????page?=?__alloc_pages_may_oom(gfp_mask,?order,?ac,?&did_some_progress);
?got_pg:
????return?page;
}
喚醒 kswapd線程在后臺回收內(nèi)存并嘗試調(diào)用get_page_from_freelist從空閑列表中快速獲取內(nèi)存頁；昂貴的內(nèi)存申請會先調(diào)用 __alloc_pages_direct_compact嘗試壓縮內(nèi)存頁，并在壓縮后的內(nèi)存中調(diào)用get_page_from_freelist查找空閑的內(nèi)存頁；調(diào)用 __alloc_pages_direct_reclaim直接回收并分配新的內(nèi)存頁；再次調(diào)用 __alloc_pages_direct_compact嘗試壓縮內(nèi)存并獲取空閑內(nèi)存頁；調(diào)用 __alloc_pages_may_oom分配內(nèi)存，如果內(nèi)存分配失敗會觸發(fā)內(nèi)存不足警告隨機(jī)殺死操作系統(tǒng)上的幾個進(jìn)程；
雖然獲取內(nèi)存頁的步驟已經(jīng)經(jīng)過了大量的刪減，但是其中展示了 Linux 在內(nèi)存也不足時獲取內(nèi)存的幾個常見方法：內(nèi)存壓縮、直接回收以及觸發(fā)內(nèi)存不足錯誤殺掉部分進(jìn)程。
內(nèi)存閑置
應(yīng)用程序在啟動階段使用的大量內(nèi)存在啟動后往往都不會使用，通過后臺運(yùn)行的守護(hù)進(jìn)程，我們可以將這部分只使用一次的內(nèi)存交換到磁盤上為其他內(nèi)存的申請預(yù)留空間。kswapd 是 Linux 負(fù)責(zé)頁面置換（Page replacement）的守護(hù)進(jìn)程，它也是負(fù)責(zé)交換閑置內(nèi)存的主要進(jìn)程，它會在空閑內(nèi)存低于一定水位時，回收內(nèi)存頁中的空閑內(nèi)存保證系統(tǒng)中的其他進(jìn)程可以盡快獲得申請的內(nèi)存，如下圖所示：
當(dāng)空閑頁面小于 WMARK_LOW 時，kswapd 進(jìn)程才會開始工作，它會將內(nèi)存頁交換到磁盤上直到空閑頁面的水位回到 WMARK_HIGH，不過當(dāng)空閑頁面的水位低于 WMARK_MIN 時會觸發(fā)上一節(jié)提到的內(nèi)存直接回收，而水位高于 WMARK_HIGH 則意味著空閑內(nèi)存充足，不需要進(jìn)行回收。
Linux 操作系統(tǒng)采用最近最少使用（Least Recently Used、LRU）算法置換內(nèi)存中的頁面，系統(tǒng)中的每個區(qū)都會在內(nèi)存中持有 active_list 和 inactive_list 兩種鏈表，其中前者包含活躍的內(nèi)存頁，后者中存儲的內(nèi)存頁都是回收的候選頁面，除此之外，Linux 還會在將 lru_list 根據(jù)內(nèi)存頁的特性分成如下幾種：
enum?lru_list?{
?LRU_INACTIVE_ANON?=?LRU_BASE,
?LRU_ACTIVE_ANON?=?LRU_BASE?+?LRU_ACTIVE,
?LRU_INACTIVE_FILE?=?LRU_BASE?+?LRU_FILE,
?LRU_ACTIVE_FILE?=?LRU_BASE?+?LRU_FILE?+?LRU_ACTIVE,
?LRU_UNEVICTABLE,
?NR_LRU_LISTS
};
其中包含 ANON 的表示匿名內(nèi)存頁，這些內(nèi)存頁存儲了與文件無關(guān)的進(jìn)程堆棧等內(nèi)容，而包含 FILE 的表示與文件相關(guān)的內(nèi)存，也就是程序文件或者數(shù)據(jù)對應(yīng)的內(nèi)存，而最后的 LRU_UNEVICTABLE 表示禁止回收的內(nèi)存頁。
每當(dāng)內(nèi)存頁被訪問時，Linux 都會將被訪問的內(nèi)存頁移到鏈表的頭部，所以在活躍鏈表末尾的是鏈表中『最老的』內(nèi)存頁，守護(hù)進(jìn)程 kswapd 的作用是平衡兩個鏈表的長度，將活躍鏈表末尾的內(nèi)存頁移至不活躍鏈表的隊(duì)首等待回收，而函數(shù) shrink_zones 會負(fù)責(zé)回收 LRU 鏈表中的不活躍內(nèi)存頁。
總結(jié)
很多人認(rèn)為當(dāng)系統(tǒng)內(nèi)存不足時應(yīng)該立即觸發(fā)內(nèi)存不足（Out of memory、OOM）并殺掉進(jìn)程，但是 Swapping 其實(shí)為系統(tǒng)管理員提供了另外一種選擇，利用磁盤的交換空間避免程序被直接退出，以降低服務(wù)質(zhì)量的代價換取服務(wù)的部分可用性。Linux 中的 Swapping 機(jī)制主要是為內(nèi)存不足和內(nèi)存閑置兩種常見的情況存在的
Swapping 可以直接將進(jìn)程中使用相對較少的頁面換出內(nèi)存：當(dāng)系統(tǒng)需要的內(nèi)存超過了可用的物理內(nèi)存時，內(nèi)核會將內(nèi)存中不常使用的內(nèi)存頁交換到磁盤上為當(dāng)前進(jìn)程讓出內(nèi)存，保證正在執(zhí)行的進(jìn)程的可用性； Swapping 可以將進(jìn)程中的閑置頁面換出內(nèi)存：應(yīng)用程序在啟動階段使用的大量內(nèi)存在啟動后往往都不會使用，通過后臺運(yùn)行的守護(hù)進(jìn)程，我們可以將這部分只使用一次的內(nèi)存交換到磁盤上為其他內(nèi)存申請預(yù)留空間；
關(guān)于是否應(yīng)該開啟 Swapping 的討論其實(shí)非常多，我們在今天也不應(yīng)該一刀切地認(rèn)為必須開啟或者禁用 Swapping，我們?nèi)匀恍枰治鰣鼍安⒗煤?Linux 為我們提供的這一機(jī)制，例如 Kubernetes 要求禁用 Swapping，我們就應(yīng)該遵循社區(qū)提出的建議，在部署 Kubernetes 的機(jī)器上關(guān)閉這一特性[^3]。到最后，我們還是來看一些比較開放的相關(guān)問題，有興趣的讀者可以仔細(xì)思考一下下面的問題：
Linux 提供了哪些參數(shù)來控制 Swapping 的行為？ 通過降低服務(wù)質(zhì)量的代價換取部分可用在哪些場景下是可取的？