小白也看得懂的 I/O 多路復(fù)用解析

IO模型小例子

接著我們通過(guò)一個(gè)例子來(lái)了解下各種IO模型。

例子：你是一個(gè)老師，讓學(xué)生做作業(yè)，學(xué)生做完作業(yè)后收作業(yè)。

同步阻塞：逐個(gè)收作業(yè)，先收A，再收B，接著是C、D，如果有一個(gè)學(xué)生還未做完，則你會(huì)等到他寫(xiě)完，然后才繼續(xù)收下一個(gè)。

解析：這就是同步阻塞的特點(diǎn)，只要中間有一個(gè)未就緒，則你會(huì)被阻塞住，從而影響到后面的其他學(xué)生。

同步非阻塞：逐個(gè)收作業(yè)，先收A，再收B，接著是C、D，如果有一個(gè)學(xué)生還未做完，則你會(huì)跳過(guò)該學(xué)生，繼續(xù)去收下一個(gè)。

解析：可以看到同步非阻塞相較于同步阻塞已經(jīng)是更好的方案了，你不會(huì)因?yàn)槟硞€(gè)學(xué)生未就緒而阻塞住，這樣就可以減少對(duì)后續(xù)學(xué)生的影響。但是這個(gè)方案也可能會(huì)出現(xiàn)其他問(wèn)題，如果你下去收作業(yè)的時(shí)候，全部學(xué)生都還沒(méi)做完，則你可能會(huì)白走一圈，然后一個(gè)作業(yè)也沒(méi)收到。

select/poll：學(xué)生寫(xiě)完了作業(yè)會(huì)舉手，但是你不知道是誰(shuí)舉手，需要一個(gè)個(gè)的去詢問(wèn)。

解析：這個(gè)方案相較于同步非阻塞來(lái)說(shuō)有一點(diǎn)好處，就是你是確認(rèn)有學(xué)生做完的，所以你下去肯定能收到作業(yè)，但是他有一個(gè)不好的點(diǎn)在于你需要一個(gè)個(gè)的去詢問(wèn)。

epoll：學(xué)生寫(xiě)完了作業(yè)會(huì)舉手，你知道是誰(shuí)舉手，你直接去收作業(yè)。

解析：這個(gè)方案就很高效了，每次都能準(zhǔn)確的收到作業(yè)。

同步阻塞IO

核心流程：當(dāng)應(yīng)用程序發(fā)起 read 系統(tǒng)調(diào)用時(shí)，在內(nèi)核數(shù)據(jù)沒(méi)有準(zhǔn)備好之前，應(yīng)用程序會(huì)一直處于阻塞等待狀態(tài)，直到內(nèi)核把數(shù)據(jù)準(zhǔn)備好了返回給應(yīng)用程序

交互流程

我們通過(guò)兩段代碼的一個(gè)動(dòng)圖來(lái)模擬同步阻塞IO下服務(wù)端和客戶端的執(zhí)行流程：

大致流程如下：

1）服務(wù)端進(jìn)行初始化：新建 socket、綁定地址、轉(zhuǎn)為服務(wù)端 socket

2）服務(wù)端調(diào)用 accept，進(jìn)入阻塞狀態(tài)，等待客戶端連接

3）客戶端新建 socket，向服務(wù)端發(fā)起連接

4）服務(wù)端和客戶端通過(guò) TCP 三次握手建立連接

5）服務(wù)端繼續(xù)執(zhí)行 read 函數(shù)，進(jìn)入阻塞狀態(tài)，等待客戶端發(fā)送數(shù)據(jù)

6）客戶端向服務(wù)端發(fā)送數(shù)據(jù)

7）服務(wù)端讀取數(shù)據(jù)，執(zhí)行邏輯處理

同步阻塞IO模型

我們通過(guò) read 函數(shù)來(lái)看下服務(wù)器內(nèi)部用戶空間和內(nèi)核空間的調(diào)用流程，如下圖所示：

大致流程如下：

1）應(yīng)用進(jìn)程發(fā)起 read 系統(tǒng)調(diào)用

2）應(yīng)用進(jìn)程阻塞等待數(shù)據(jù)就緒

3）數(shù)據(jù)通過(guò)網(wǎng)絡(luò)傳輸?shù)竭_(dá)網(wǎng)卡，然后再到內(nèi)核socket緩沖區(qū)，當(dāng)數(shù)據(jù)被拷貝到內(nèi)核 socket 緩沖區(qū)時(shí)，此時(shí)處于就緒狀態(tài)

4）將數(shù)據(jù)從內(nèi)核拷貝到應(yīng)用程序緩沖區(qū)，返回成功

多線程版本：文中使用的例子是單線程，如果是多線程則在每個(gè) socket 建立連接后新建線程去負(fù)責(zé)處理該 socket 后續(xù)的流程，這樣就不會(huì)由于單個(gè) socket 阻塞住而影響到其他 socket。

總結(jié)

單線程：某個(gè) socket 阻塞，會(huì)影響到其他 socket 處理。

多線程：當(dāng)客戶端較多時(shí)，會(huì)造成資源浪費(fèi)，全部 socket 中可能每個(gè)時(shí)刻只有幾個(gè)就緒。同時(shí)，線程的調(diào)度、上下文切換乃至它們占用的內(nèi)存，可能都會(huì)成為瓶頸。

同步非阻塞IO

核心流程：當(dāng)應(yīng)用程序發(fā)起 read 系統(tǒng)調(diào)用時(shí)，在內(nèi)核數(shù)據(jù)沒(méi)有準(zhǔn)備好之前，內(nèi)核會(huì)直接返回錯(cuò)誤，應(yīng)用程序不斷輪詢內(nèi)核，直到內(nèi)核把數(shù)據(jù)準(zhǔn)備好了返回給應(yīng)用程序。

交互流程

我們通過(guò)兩段代碼的一個(gè)動(dòng)圖來(lái)模擬同步阻塞IO下服務(wù)端和客戶端的執(zhí)行流程：

大致流程如下：

1）服務(wù)端調(diào)用 accept，數(shù)據(jù)未就緒，內(nèi)核返回-1

2）服務(wù)端調(diào)用 accept，數(shù)據(jù)未就緒，內(nèi)核返回-1

3）服務(wù)端調(diào)用 accept，數(shù)據(jù)未就緒，內(nèi)核返回-1

4）客戶端新建 socket，向服務(wù)端發(fā)起連接

4）服務(wù)端調(diào)用 accept，服務(wù)端和客戶端通過(guò) TCP 三次握手建立連接

5）服務(wù)端執(zhí)行后續(xù)邏輯處理

我們通過(guò) read 函數(shù)來(lái)看下服務(wù)器內(nèi)部用戶空間和內(nèi)核空間的調(diào)用流程，如下圖所示：

大致流程如下：

1）服務(wù)端調(diào)用 read，數(shù)據(jù)未就緒，內(nèi)核返回-1

2）服務(wù)端調(diào)用 read，數(shù)據(jù)未就緒，內(nèi)核返回-1

3）服務(wù)端調(diào)用?read，數(shù)據(jù)就緒

4）將數(shù)據(jù)從內(nèi)核拷貝到應(yīng)用程序緩沖區(qū)，返回成功

同步非阻塞IO模型

總結(jié)：提供了非阻塞調(diào)用的方式，從操作系統(tǒng)層面解決了阻塞問(wèn)題。

優(yōu)點(diǎn)：單個(gè) socket 阻塞，不會(huì)影響到其他 socket?

缺點(diǎn)：需要不斷的遍歷進(jìn)行系統(tǒng)調(diào)用，有一定開(kāi)銷

SELECT

核心流程：

1）應(yīng)用程序首先發(fā)起 select 系統(tǒng)調(diào)用，傳入要監(jiān)聽(tīng)的文件描述符集合

2）內(nèi)核遍歷應(yīng)用程序傳入的?fd 集合，如果遍歷完一遍后發(fā)現(xiàn)沒(méi)有就緒的 fd 則用戶進(jìn)程會(huì)進(jìn)入阻塞狀態(tài)，如果有就緒的 fd 則會(huì)對(duì)就緒的 fd 打標(biāo)，然后返回

3）應(yīng)用程序遍歷 fd 集合，找到就緒的 fd，進(jìn)行相應(yīng)的事件處理

select 接口

/** * 獲取就緒事件 * * @param nfds      3個(gè)監(jiān)聽(tīng)集合的文件描述符最大值+1 * @param readfds   要監(jiān)聽(tīng)的可讀文件描述符集合 * @param writefds  要監(jiān)聽(tīng)的可寫(xiě)文件描述符集合 * @param exceptfds 要監(jiān)聽(tīng)的異常文件描述符集合 * @param timeval   本次調(diào)用的超時(shí)時(shí)間 * @return 大于0：已就緒的文件描述符數(shù)；等于0：超時(shí)；小于：出錯(cuò) */int select(int nfds,           fd_set *readfds,           fd_set *writefds,           fd_set *exceptfds,           struct timeval *timeout);

交互流程

我們通過(guò)一個(gè)動(dòng)圖來(lái)模擬服務(wù)器內(nèi)部用戶空間和內(nèi)核空間的調(diào)用流程，如下圖所示：

大致流程如下：

1）用戶空間發(fā)起 select 系統(tǒng)調(diào)用，將監(jiān)聽(tīng)的 fd 集合從用戶空間拷貝到內(nèi)核空間

2）內(nèi)核遍歷 fd 集合，檢查數(shù)據(jù)是否就緒

3）如果遍歷一遍后發(fā)現(xiàn)沒(méi)有 fd 就緒，則會(huì)將當(dāng)前用戶進(jìn)程阻塞，讓出 CPU 給其他進(jìn)程

4）當(dāng)客戶端將數(shù)據(jù)發(fā)送到服務(wù)端，進(jìn)入內(nèi)核后，會(huì)通過(guò)數(shù)據(jù)庫(kù)包找到對(duì)應(yīng)的socket?

PS：客戶端發(fā)送數(shù)據(jù)到數(shù)據(jù)進(jìn)入服務(wù)端內(nèi)核的流程類似下面 epoll 的流程

5）socket 檢查是否有阻塞等待的進(jìn)程，如果有則喚醒該進(jìn)程

6）用戶進(jìn)程恢復(fù)運(yùn)行后，會(huì)再遍歷 fd?集合進(jìn)行檢查，此時(shí)它會(huì)檢查到某些 fd 已經(jīng)就緒了，它會(huì)給這些 fd 打上標(biāo)記，然后結(jié)束阻塞，返回到用戶空間

7）用戶空間知道有事件就緒，遍歷 fd 集合，找到就緒的 fd，進(jìn)行相應(yīng)的事件處理，例如將數(shù)據(jù)從內(nèi)核緩沖區(qū)拷貝到應(yīng)用程序緩沖區(qū)

8）最后執(zhí)行邏輯處理。

IO多路復(fù)用模型

fd_set

fd_set 在 select 的整個(gè)調(diào)用過(guò)程中表達(dá)了兩種不同的意思。

在入?yún)r(shí)，fd_set 表示應(yīng)用程序要監(jiān)聽(tīng)哪些 fd；在回參時(shí)，fd_set表示哪些 fd 已經(jīng)就緒了。

應(yīng)用程序傳入的 fd_set 其實(shí)是個(gè)位圖，例如我們要監(jiān)聽(tīng) fd = 1、fd = 4，則傳入 0000 0101，也就是 5。

這邊使用的 long 類型數(shù)組來(lái)實(shí)現(xiàn)位圖：1個(gè) long 可以表示64位，則16個(gè)long可以表示1024位。

當(dāng)內(nèi)核處理完畢，將就緒的 fd 返回時(shí)，會(huì)將就緒的 fd 對(duì)應(yīng)的位標(biāo)記為1，然后覆蓋掉入?yún)⒌?fd_set，所以我們最終返回時(shí)的 fd_set 表示的是哪些 fd 是就緒的。

總結(jié)

• 將 socket 是否就緒檢查邏輯下沉到操作系統(tǒng)層面，避免大量系統(tǒng)調(diào)用。

• 告訴你有事件就緒，但是沒(méi)告訴你具體是哪個(gè) FD。

優(yōu)點(diǎn)

• 不需要每個(gè) FD 都進(jìn)行一次系統(tǒng)調(diào)用，解決了頻繁的用戶態(tài)內(nèi)核態(tài)切換問(wèn)題

缺點(diǎn)

• 單進(jìn)程監(jiān)聽(tīng)的 FD 存在限制，默認(rèn)1024

• 每次調(diào)用需要將 FD 從用戶態(tài)拷貝到內(nèi)核態(tài)

• 不知道具體是哪個(gè)文件描述符就緒，需要遍歷全部文件描述符

• 入?yún)⒌?個(gè) fd_set 集合每次調(diào)用都需要重置

POLL

核心流程：基本同 select。

poll 接口

/** * 獲取就緒事件 * * @param pollfd  要監(jiān)聽(tīng)的文件描述符集合 * @param nfds    文件描述符數(shù)量 * @param timeout 本次調(diào)用的超時(shí)時(shí)間 * @return 大于0：已就緒的文件描述符數(shù)；等于0：超時(shí)；小于：出錯(cuò) */int poll(struct pollfd *fds,         unsigned int nfds,         int timeout);
struct pollfd {    int fd;         // 監(jiān)聽(tīng)的文件描述符    short events;   // 監(jiān)聽(tīng)的事件    short revents;  // 就緒的事件}

poll 函數(shù)基本同 select，只是對(duì) select 進(jìn)行了一些小優(yōu)化，一個(gè)是優(yōu)化了1024個(gè)文件描述符上限，另一個(gè)是新定義了 pollfd 數(shù)據(jù)結(jié)構(gòu)，使用兩個(gè)不同的變量來(lái)表示監(jiān)聽(tīng)的事件和就緒的事件，這樣就不需要像 select 那樣每次重置 fd_set 了。

總結(jié)：跟 select 基本類似，主要優(yōu)化了監(jiān)聽(tīng)1024的限制。

優(yōu)點(diǎn)

• 不需要每個(gè) FD 都進(jìn)行一次系統(tǒng)調(diào)用，導(dǎo)致頻繁的用戶態(tài)內(nèi)核態(tài)切換

缺點(diǎn)

• 每次需要將 FD 從用戶態(tài)拷貝到內(nèi)核態(tài)

• 不知道具體是哪個(gè)文件描述符就緒，需要遍歷全部文件描述符

EPOLL

核心流程：

1）應(yīng)用程序調(diào)用 epoll_create，內(nèi)核會(huì)分配一塊內(nèi)存空間，創(chuàng)建一個(gè) epoll，最后將 epoll 的 fd 返回，我們后續(xù)可以通過(guò)這個(gè) fd 來(lái)操作 epoll 對(duì)象

2）應(yīng)用程序不斷調(diào)用 epoll_ctl 將我們要監(jiān)聽(tīng)的 fd 維護(hù)到 epoll，內(nèi)核通過(guò)紅黑樹(shù)的結(jié)構(gòu)來(lái)高效的維護(hù)我們傳入的 fd 集合

3）應(yīng)用程序調(diào)用?epoll_wait 來(lái)獲取就緒事件，內(nèi)核檢查 epoll 的就緒列表，如果就緒列表為空則會(huì)進(jìn)入阻塞，否則直接返回就緒的事件。

4）應(yīng)用程序根據(jù)內(nèi)核返回的就緒事件，進(jìn)行相應(yīng)的事件處理

epoll 接口

/** * 創(chuàng)建一個(gè)epoll * * @param size epoll要監(jiān)聽(tīng)的文件描述符數(shù)量 * @return epoll的文件描述符 */int epoll_create(int size);
/** * 事件注冊(cè) * * @param epfd        epoll的文件描述符，epoll_create創(chuàng)建時(shí)返回 * @param op          操作類型：新增（1）、刪除（2）、更新（3） * @param fd          本次要操作的文件描述符 * @param epoll_event 需要監(jiān)聽(tīng)的事件：讀事件、寫(xiě)事件等 * @return 如果調(diào)用成功返回0, 不成功返回-1 */int epoll_ctl(int epfd,              int op,              int fd,              struct epoll_event *event);
/** * 獲取就緒事件 * * @param epfd      epoll的文件描述符，epoll_create創(chuàng)建時(shí)返回 * @param events    用于回傳就緒的事件 * @param maxevents 每次能處理的最大事件數(shù) * @param timeout   等待I/O事件發(fā)生的超時(shí)時(shí)間，-1相當(dāng)于阻塞，0相當(dāng)于非阻塞 * @return 大于0：已就緒的文件描述符數(shù)；等于0：超時(shí)；小于：出錯(cuò) */int epoll_wait(int epfd,               struct epoll_event *events,               int maxevents,               int timeout);

交互流程

我們通過(guò)一個(gè)動(dòng)圖來(lái)模擬服務(wù)器內(nèi)部用戶空間和內(nèi)核空間的調(diào)用流程，如下圖所示：