IO多路復(fù)用之Select、Poll、Epoll

作者：cocodroid 2021-05-31 06:50:47

I/O多路復(fù)用(multiplexing)的本質(zhì)是通過一種機(jī)制(系統(tǒng)內(nèi)核緩沖I/O數(shù)據(jù))，讓單個(gè)進(jìn)程可以監(jiān)視多個(gè)文件描述符，一旦某個(gè)描述符就緒(一般是讀就緒或?qū)懢途w)，能夠通知程序進(jìn)行相應(yīng)的讀寫操作。

[[402481]]

本文轉(zhuǎn)載自微信公眾號「搬運(yùn)工來架構(gòu)」，作者cocodroid。轉(zhuǎn)載本文請聯(lián)系搬運(yùn)工來架構(gòu)公眾號。

01select

int select (int n, fd_set *readfds, fd_set *writefds,  
                   fd_set *exceptfds, struct timeval *timeout); 
 
// fd_set 結(jié)構(gòu)體簡化為： 
typedef struct{ 
    long int fds_bits[32]; 
}fd_set;

select 函數(shù)監(jiān)視的文件描述符分3類，分別是writefds、readfds、和exceptfds。調(diào)用后select函數(shù)會(huì)阻塞，直到有描述符就緒(有數(shù)據(jù) 可讀、可寫、或者有except)，或者超時(shí)(timeout指定等待時(shí)間，如果立即返回設(shè)為null即可)，函數(shù)返回。當(dāng)select函數(shù)返回后，可以通過遍歷fdset，來找到就緒的描述符。

select本質(zhì)上是通過設(shè)置或者檢查存放fd標(biāo)志位的數(shù)據(jù)結(jié)構(gòu)來進(jìn)行下一步處理。

缺點(diǎn)：

1、單個(gè)進(jìn)程可監(jiān)視的fd數(shù)量被限制，即能監(jiān)聽端口的大小有限。

一般來說這個(gè)數(shù)目和系統(tǒng)內(nèi)存關(guān)系很大，具體數(shù)目可以cat /proc/sys/fs/file-max察看。32位機(jī)默認(rèn)是1024個(gè)。64位機(jī)默認(rèn)是2048.

2、對socket進(jìn)行掃描時(shí)是線性掃描，即采用輪詢的方法，效率較低：

當(dāng)套接字比較多的時(shí)候，每次select()都要通過遍歷FD_SETSIZE個(gè)Socket來完成調(diào)度,不管哪個(gè)Socket是活躍的,都遍歷一遍。這會(huì)浪費(fèi)很多CPU時(shí)間。如果能給套接字注冊某個(gè)回調(diào)函數(shù)，當(dāng)他們活躍時(shí)，自動(dòng)完成相關(guān)操作，那就避免了輪詢，這正是epoll與kqueue做的。

3、需要維護(hù)一個(gè)用來存放大量fd的數(shù)據(jù)結(jié)構(gòu)，每次調(diào)用select時(shí)把fd集合從用戶態(tài)拷貝到內(nèi)核態(tài)，這樣會(huì)使得用戶空間和內(nèi)核空間在傳遞該結(jié)構(gòu)時(shí)復(fù)制開銷大。

02poll

int poll (struct pollfd *fds, unsigned int nfds, int timeout); 
 
struct pollfd { 
    int fd; /* file descriptor */ 
    short events; /* requested events to watch */ // 請求監(jiān)視的事件 
    short revents; /* returned events witnessed */ // 返回發(fā)生的事件 
};

和select沒有區(qū)別，它將用戶傳入的數(shù)組拷貝到內(nèi)核空間，然后查詢每個(gè)fd對應(yīng)的設(shè)備狀態(tài)，如果設(shè)備就緒則在設(shè)備等待隊(duì)列中加入一項(xiàng)并繼續(xù)遍歷，如果遍歷完所有fd后沒有發(fā)現(xiàn)就緒設(shè)備，則掛起當(dāng)前進(jìn)程，直到設(shè)備就緒或者主動(dòng)超時(shí)，被喚醒后它又要再次遍歷fd。這個(gè)過程經(jīng)歷了多次無謂的遍歷。

它沒有最大連接數(shù)的限制，原因是它是基于鏈表來存儲(chǔ)的。

缺點(diǎn)：

1、大量的fd的數(shù)組被整體復(fù)制于用戶態(tài)和內(nèi)核地址空間之間，而不管這樣的復(fù)制是不是有意義。

2、poll還有一個(gè)特點(diǎn)是“水平觸發(fā)”，如果報(bào)告了fd后，沒有被處理，那么下次poll時(shí)會(huì)再次報(bào)告該fd。

LT模式：level trigger。當(dāng)epoll_wait檢測到描述符事件發(fā)生并將此事件通知應(yīng)用程序，

應(yīng)用程序可以不立即處理該事件。下次調(diào)用epoll_wait時(shí)，會(huì)再次響應(yīng)應(yīng)用程序并通知此事件。

ET模式：edge trigger。當(dāng)epoll_wait檢測到描述符事件發(fā)生并將此事件通知應(yīng)用程序，

應(yīng)用程序必須立即處理該事件。如果不處理，下次調(diào)用epoll_wait時(shí)，不會(huì)再次響應(yīng)應(yīng)用程序并通知此事件。

03epoll

int epoll_create(int size)； 
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event)； 
int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);

epoll_create：創(chuàng)建一個(gè)epoll的句柄，size用來告訴內(nèi)核這個(gè)監(jiān)聽的數(shù)目一共有多大。參數(shù)size并不是限制了epoll所能監(jiān)聽的描述符最大個(gè)數(shù)，只是對內(nèi)核初始分配內(nèi)部數(shù)據(jù)結(jié)構(gòu)的一個(gè)建議。

epoll_ctl：對指定描述符fd執(zhí)行op操作。

-epfd：是epoll_create()的返回值。

-op操作：對應(yīng)宏：添加EPOLL_CTL_ADD，刪除EPOLL_CTL_DEL，修改EPOLL_CTL_MOD，對應(yīng)添加、刪除和修改對fd的監(jiān)聽事件。

- fd：是需要監(jiān)聽的fd(文件描述符)。

- epoll_event：是告訴內(nèi)核需要監(jiān)聽什么事件(讀、寫事件等)。

epoll_wait：等待epfd上的io事件，最多返回maxevents個(gè)事件。

-events：用來從內(nèi)核得到事件的集合，

-maxevents：告之內(nèi)核這個(gè)events有多大，這個(gè)maxevents的值不能大于創(chuàng)建epoll_create()時(shí)的size，

-timeout：是超時(shí)時(shí)間。

epoll有EPOLLLT和EPOLLET兩種觸發(fā)模式，LT是默認(rèn)的模式，ET是“高速”模式。LT模式下，只要這個(gè)fd還有數(shù)據(jù)可讀，每次 epoll_wait都會(huì)返回它的事件，提醒用戶程序去操作，而在ET(邊緣觸發(fā))模式中，它只會(huì)提示一次，直到下次再有數(shù)據(jù)流入之前都不會(huì)再提示了，無論fd中是否還有數(shù)據(jù)可讀。所以在ET模式下，read一個(gè)fd的時(shí)候一定要把它的buffer讀光，也就是說一直讀到read的返回值小于請求值，或者遇到EAGAIN錯(cuò)誤。還有一個(gè)特點(diǎn)是，epoll使用“事件”的就緒通知方式，通過epoll_ctl注冊fd，一旦該fd就緒，內(nèi)核就會(huì)采用類似callback的回調(diào)機(jī)制來激活該fd，epoll_wait便可以收到通知。

epoll為什么要有EPOLLET觸發(fā)模式?

如果采用EPOLLLT模式的話，系統(tǒng)中一旦有大量你不需要讀寫的就緒文件描述符，它們每次調(diào)用epoll_wait都會(huì)返回，這樣會(huì)大大降低處理程序檢索自己關(guān)心的就緒文件描述符的效率.。而采用EPOLLET這種邊沿觸發(fā)模式的話，當(dāng)被監(jiān)控的文件描述符上有可讀寫事件發(fā)生時(shí)，epoll_wait()會(huì)通知處理程序去讀寫。如果這次沒有把數(shù)據(jù)全部讀寫完(如讀寫緩沖區(qū)太小)，那么下次調(diào)用epoll_wait()時(shí)，它不會(huì)通知你，也就是它只會(huì)通知你一次，直到該文件描述符上出現(xiàn)第二次可讀寫事件才會(huì)通知你!!!這種模式比水平觸發(fā)效率高，系統(tǒng)不會(huì)充斥大量你不關(guān)心的就緒文件描述符。

epoll優(yōu)點(diǎn)：

1、沒有最大并發(fā)連接的限制，能打開的FD的上限遠(yuǎn)大于1024(1G的內(nèi)存上能監(jiān)聽約10萬個(gè)端口);

2、效率提升，不是輪詢的方式，不會(huì)隨著FD數(shù)目的增加效率下降。只有活躍可用的FD才會(huì)調(diào)用callback函數(shù);

即Epoll最大的優(yōu)點(diǎn)就在于它只管你“活躍”的連接，而跟連接總數(shù)無關(guān)，因此在實(shí)際的網(wǎng)絡(luò)環(huán)境中，Epoll的效率就會(huì)遠(yuǎn)遠(yuǎn)高于select和poll。

3、內(nèi)存拷貝，利用mmap()文件映射內(nèi)存加速與內(nèi)核空間的消息傳遞;即epoll使用mmap減少復(fù)制開銷。

04區(qū)別

0、底層數(shù)據(jù)結(jié)構(gòu)

select：數(shù)組，poll：鏈表，epoll：紅黑樹。

1、支持一個(gè)進(jìn)程所能打開的最大連接數(shù)

select 單個(gè)進(jìn)程所能打開的最大連接數(shù)有FD_SETSIZE宏定義，其大小是32個(gè)整數(shù)的大小(在32位的機(jī)器上，大小就是32*32，同理64位機(jī)器上FD_SETSIZE為32*64)，當(dāng)然我們可以對進(jìn)行修改，然后重新編譯內(nèi)核，但是性能可能會(huì)受到影響，這需要進(jìn)一步的測試。

poll本質(zhì)上和select沒有區(qū)別，但是它沒有最大連接數(shù)的限制，原因是它是基于鏈表來存儲(chǔ)的。

epoll 雖然連接數(shù)有上限，但是很大，1G內(nèi)存的機(jī)器上可以打開10萬左右的連接，2G內(nèi)存的機(jī)器可以打開20萬左右的連接。

2、FD劇增后帶來的IO效率問題

select/poll 因?yàn)槊看握{(diào)用時(shí)都會(huì)對連接進(jìn)行線性遍歷，所以隨著FD的增加會(huì)造成遍歷速度慢的“線性下降性能問題”。

epoll 因?yàn)閑poll內(nèi)核中實(shí)現(xiàn)是根據(jù)每個(gè)fd上的callback函數(shù)來實(shí)現(xiàn)的，只有活躍的socket才會(huì)主動(dòng)調(diào)用callback，所以在活躍socket較少的情況下，使用epoll沒有前面兩者的線性下降的性能問題，但是所有socket都很活躍的情況下，可能會(huì)有性能問題。

3、消息傳遞方式

select/poll 內(nèi)核需要將消息傳遞到用戶空間，都需要內(nèi)核拷貝動(dòng)作。

epoll通過內(nèi)核和用戶空間共享一塊內(nèi)存來實(shí)現(xiàn)的。

select、poll與epoll之間的區(qū)別總結(jié)圖：