近期工作，跟網絡協議相關，這讓我有機會更深入學習網絡協議，而之前很長一段時間，我對網絡協議的理解都停留在比較淺的層面。

比如：TCP是面向連接的、可靠傳輸，而UDP是非連接的、不可靠傳輸，TCP建連需要3次握手，會造成delay，UDP更快。

比如：socket編程，服務器socket create、bind、listen、accept、read/write、shutdown/close，客戶端socket create、connect、read/write、shutdown/close，再加上epoll/select這幾下子。

再比如：我知道網絡編程要忽視SIGPIPE信號不然會掛，read返回0代表對端主動關閉，非阻塞的read要放在循環里要考慮返回值，多路復用以及阻塞、非阻塞的區別。

TCP/UDP的區別上，我是這樣理解的：從北京到杭州，TCP相當于修了一條高鐵線路(建連)再通車發貨(傳輸數據)，而UDP相當于寄快遞，丟了不管(直接傳輸數據)。

上面的理解對不對?可以說對，也可以說不對。對于應用程序員來說，有了上面的認識+熟悉socket編程接口，夠了嗎?不夠嗎?

大物理學家費曼提出一個高效的費曼學習法，即從問題入手，試著把問題都講出來，以教代學，一旦你能把問題都講清楚，便學會了。所以我想嘗試一下把TCP/IP講清楚，借此讓自己學明白，順便幫助一下讀者。

雖然《TCP/IP詳解卷1》是一本關于互聯網協議族很嚴謹詳盡的書，但在我看來，它稍微有點晦澀，可能需要讀幾遍，才能心領神會。雖然我沒有能力把這個問題說的更好，但因為我經歷過從稀里糊涂到稍有所悟的過程，這可能是大師不可比的，我將盡量用通俗易懂的語言把TCP/IP相關的知識講清楚。

TCP/IP是什么

TCP/IP協議族是一組協議的集合，也叫互聯網協議族，用來實現互聯網上主機之間的相互通信。TCP和IP只是其中的2個協議，也是很重要的2個協議，所以用TCP/IP來命名這個互聯網協議族，實際上，它還包括其他協議，比如UDP、ICMP、IGMP、ARP/RARP等。

網絡分層

大學《計算機網絡》教科書上有經典的網絡ISO七層模型，但七層劃分太細了，稍顯繁瑣，不容易記住。

互聯網協議族TCP/IP按粗粒度的四層劃分，兩種劃分的對照圖讓彼此關系一目了然。

分層是計算機領域的常用技巧，比如互聯網后端的三層架構“接入-邏輯-存儲”就是分層思想的典型應用。

分層是為了隔離，通過分層劃分職能，拆解問題，層與層之間約定接口，屏蔽實現細節。

TCP/IP自下到上劃分為鏈路層、網絡層、傳輸層、應用層。下層向上層提供能力，上層利用下層的能力提供更高的抽象。

• 鏈路層，也稱網絡接口層，包括操作系統的設備驅動程序和網卡，它們一起處理與傳輸媒介(光纖等)的物理接口細節。
• 網絡層，也就是IP層，負責處理IP datagram在網絡中的傳輸，IP層傳輸的是IP datagram，借助路由表，把IP datagram從網絡的一端傳輸到另一端，簡而言之：IP實現包的路由傳輸，IP協議和路由器工作在網絡層。
• 傳輸層，提供端到端之間的通信，包括提供面向連接和高可靠性的TCP，以及無連接不可靠的UDP。貌似TCP更好，但實際不是這樣，UDP因為不需要建連開銷，所以更快，應用得也很廣，比如新一代互聯網協議HTTP3就從TCP轉向UDP，應根據適應場景選擇傳輸層協議。
• 應用層，跟應用相關，不同應用解決不同問題，需要不同的應用層協議。

鏈路層處理數據在媒介上的傳輸，以及主機與網卡、光纖等打交道的細節。因為與硬件相關，所以需要借助系統的驅動程序，鏈路層協議就是定義這些細節的，比如怎么把數據從網卡發送到光纖，采用什么格式編碼等，它解決的數據在媒介上表示、流動的問題。

光有鏈路層功能肯定是不夠的，網絡上有成千上萬的機器，主機A與B通信，你不能將數據發到主機C，所以仿照現實，要為主機分配網絡地址，通過IP地址去標識網絡中的一臺主機，發送一個數據包，需要正確路由到目的地，這就好比你從家到公司，要經過哪些路徑，需要地圖，而路由表就類似這張地圖。IP解決的是數據包在網絡中的傳輸路由的問題。

有了網絡層的傳輸路由能力，還不夠，因為IP報在傳輸過程中可能丟包，比如中間經歷過的路由器緩沖區滿了便會丟包，這樣不可靠，如果需要可靠傳輸的能力，便需要傳輸層基于IP層，提供更多的能力，TCP解決了可靠性問題。具體而言，如果丟包了，TCP層會負責超時重傳，它通過接收確認和重傳機制保證了可靠傳輸。另外，因為IP報都是獨立路由的，所以從主機A到主機B，一份數據被拆分成x、y兩個IP報先后發送，這2個包可能選擇不同的傳輸路徑，這樣有可能y包先于x包到達，但我們希望在接收端(主機B)恢復這個數據的信息，但我們無法控制IP報的到達順序，所以，我們需要在接收端恢復數據，我只需要在x、y包里記錄它屬于數據塊的哪個部分，然后重組這份數據，這正是TCP做的，它會重新組裝IP報，從而保證順序性，遞交給應用層。

有時候并不需要保證可靠性和順序性，這便是UDP能提供的，它只是簡單的把數據封裝成IP報，然后通過IP層路由發送到目的端。

再往上，便是應用層協議了，比如http，又比如游戲服務器自定義協議，應用層協議通常基于TCP或者UDP做傳輸。

分層

什么是協議?懶得去翻協議的各種權威定義了，我認為協議就是約定，跟現實生活中協議這個詞含義差不多。網絡協議就是通信雙方共同遵守的約定，更具體一點，就是定義數據在網絡上傳輸的格式、規則和流程。

因為網絡是分層模型，不同層有不同層的作用，所以為各層定義各層的規則，各層對應的各層協議。

前面講了TCP/IP協議族包含很多協議，這些協議分屬不同的分層，承擔不同的作用。

• TCP和UDP是兩種主要的傳輸層協議。
• IP是網絡層的主要協議，TCP、UDP都需要利用IP協議進行數據傳輸。
• ICMP是互聯網控制報文協議，是IP的附屬協議，IP層用它來與其他主機或路由器交換錯誤報文和其他重要信息。比如一個Packet經過某個路由器節點的時候，超過網絡對Packet的長度限制，而又不分片，則會給發送端發送一個ICMP包報告錯誤信息，屬于ICMP是用來輔助IP完成數據包傳輸的。
• IGMP是Internet組管理協議，用來把一個包多播到多個主機。
• ARP(地址解析協議)和RARP(逆地址解析協議)是用來轉換IP層和鏈路層的地址，IP層使用IP地址，鏈路層使用Mac地址
• 應用層和傳輸層使用端到端(end-to-end)協議，網絡層提供的是逐跳(hop-by-hop)協議。

封裝

A給B通過網絡傳送一塊數據，可以設想僅僅是傳輸這塊原始數據是不夠的，因為網絡傳輸過程中，網絡包到了某個路由器，需要轉發，而轉發必須依賴數據包的一些附加信息，比如目標機器。

發送端在發送數據的時候，將原始數據按照協議格式加上一些控制信息，包裝成可在網絡上正確傳輸數據包的過程叫封裝。

TCP/IP協議族是層層封裝的，從應用層到鏈路層，每經過一層都要添加一些額外信息(首、尾部)。

• 用戶數據經過應用程序加上應用程序首部，轉給TCP層處理
• 經過TCP層加上TCP首部，產生TCP段(segment)
• TCP segment經過IP層再加上IP首部，產生IP數據包(datagram)
• IP datagram通過鏈路層，經以太網驅動程序處理后，加上以太網首部+尾部，產生以太網幀(frame)，以太網幀的長度在46~1500之間

更準確的說，在IP和鏈路層傳輸的數據單元叫分組(Packet)，分組既可以是一個IP datagram也可以是IP datagram的一個分片(fragment)。

UDP的封裝跟TCP略有不同，主要體現在經過傳輸層(UDP)之后添加的是8字節UDP首部，產生UDP datagram。

封裝過程中，經過TCP/UDP層的時候，會把端口號添加到TCP/UDP首部;經過IP層的時候，會把協議類型(TCP or UDP or ICMP or IGMP)添加到IP首部;經過鏈路層的時候，會把幀類型(IP or ARP or RARP)添加到以太網首部。這些信息將被用于接收端的處理。

接收端收到數據后，要執行跟發送端相反的解封操作，我們可以把發送端的數據封裝比喻成洗澡后一層層穿衣服，而接收端的操作，類似洗澡前一層層脫衣服，把首尾部剝離，獲取傳遞的原始數據。

因為網絡上的主機有不同字節序，現在要通過網絡傳輸，便需要約定統一的網絡字節序(大端序)，采用小端序的主機在網絡傳輸數據的時候要轉為大端序。

地址

互聯網上每個接口都有一個唯一的網絡地址，也叫IP地址，IP地址有IPv4和IPv6兩個版本，IPv4是32位4字節的整數，每個字節(8bit)的取值范圍是0~255，所以可以把4字節的IPv4用四個點分隔的byte值表示，比如140.252.13.88，每個十進制數值對應32位整數中的每個字節，這種表示法叫點分十進制表示法，很顯然，點分十進制法和int32兩種表示法之間很容易相互轉換。

IPv4地址劃分為ABCDE五類，32位地址表示的數值空間有限，難以為互聯網上的所有聯網設備分配獨立的IP地址，所以便存在動態分配、共享、公網+內網地址轉化(NAT)等問題，本質上是為了解決IP地址不夠用的問題。

IPv6使用128bit，2的128次方就非常大了，號稱可以為地球上每粒沙子分配一個ip地址。

IP數據報(網絡層)用IP地址、而以太網幀(鏈路層)則是用硬件(48位Mac)地址，ARP和RARP用于IP地址和硬件地址之間做映射(轉換)。

端口

TCP/UDP采用16位端口號來識別(區分)應用，比如主機A向主機B發送了一個IP報，主機B的內核收到該IP報之后，應該交給哪個應用程序去處理呢?端口號就是用來干這個的，內核會維護端口號到應用程序之間的對應關系。

比較常用的應用層協議有約定的端口號，也就是知名端口號，而1024~5000之間的端口號是分配給TCP/IP臨時用的，而大于5000的另做他用。也就是說，你用TCP方式去連網絡服務器，本地為該socket分配的端口號會在1024~5000之間，這取決于操作系統的端口分配策略。

域名系統

域名系統(DNS)提供主機名字和IP地址之間的轉換，比如www.baidu.com是一個域名，應用程序可以通過一個標準庫函數(gethostbyname)來獲得給定名字主機的IP地址，標準庫函數(gethostbyaddr)實現逆操作。

ip地址是一串數字，含義不清、也不便于記憶，主機名含義更清晰，www.baidu.com你就很容易記住，這也是為什么存在IP地址還需要主機名的原因。

分用

接收端接收到以太網數據幀(Frame)之后，需要像剝洋蔥一樣，從協議棧由底向上升，即遵照鏈路層->網絡層->傳輸層->應用層的順序，去掉各層協議添加的首尾部，將數據取出，交給最上層應用程序，這個過程叫Demultiplexing，尊從書本的翻譯叫分用。

回顧前面封裝的描述，在傳輸層、網絡層、鏈路層，分別將端口號存入TCP/IP首部，將協議類型存入IP首部，將幀類型存入以太網幀首部。所以在接收端，將一層層拆掉首部，取出對應信息，然后做分派，丟給不同模塊處理，上圖就是整個處理過程。

小結

本文講了地址、域名、端口、TCP/IP分層模型、封裝、分用等概念。

你***能記住TCP/IP鏈路層->網絡層->傳輸層->應用層的四層劃分。

TCP segment、UDP datagram、IP datagram、IP fragment、以太網frame、以及IP層和鏈路層之間傳輸的數據單元packet，這些概念你***分清楚，這樣交談的時候會顯得比較專業而不是很土。

數據封裝，多看幾遍你便能記住了。

• TCP封裝格式：以太網首部(14)+IP首部(20)+TCP首部(20)+應用數據+以太網尾部(4)
• UDP封裝格式：以太網首部(14)+IP首部(20)+UDP首部(8)+應用數據+以太網尾部(4)

應用層協議在應用層實現，而傳輸層、網絡層、鏈路層都是在內核實現，所以想修改或者優化底層協議很難，因為你幾乎動不了內核，因為網絡上的大量設備OS你沒法一并改過來，這就是所謂的網絡設備僵化問題，HTTP3用UDP替代TCP，就是想在應用層自己去實現可靠傳輸等。

每個以太網幀有長度限制(48~1500)，網絡上每個設備也有對包的長度限制，IP報大了就要分片，分片可能發生在發送端，也有可能發生在中間設備，但應該盡量避免分片，IP報會帶有信息讓分片后可以重組，MTU的概念可以了解一下。

ICMP和IGMP邏輯上屬于網絡層，因為他們是IP協議的附屬協議，但實際上，ICMP和IGMP報文都被封裝為IP datagram傳輸，所以又可以把他們視為IP層之上的協議。

同樣ARP和RARP用于IP地址和硬件MAC地址相互轉換，邏輯上屬于鏈路層，但實際上arp和rarp報文跟IP datagram一樣，都被封裝成以太網Frame傳輸。

接收端收到以太網幀之后，會走分用流程，最終將原始數據交給應用程序。

TCP/IP協議的應用程序經常使用socket編程接口。

有很多跟網絡相關的工具，比如ping、ifconfig、netstat、arp、tcpdump、wireshark等。