為什么 Linux 和 MacOS 不需要碎片整理
為什么這么設計(Why’s THE Design)是一系列關于計算機領域中程序設計決策的文章，我們在這個系列的每一篇文章中都會提出一個具體的問題并從不同的角度討論這種設計的優缺點、對具體實現造成的影響。
相信今天很多的軟件工程師使用的都是 Linux 或者 macOS 系統，與 Windows 不同，我們很難看到磁盤碎片整理這一概念，從個人的經驗來看，作者在過去七八年沒有在 macOS 中整理過磁盤的碎片，你在今天的磁盤工具中也找不到相關的操作，只能通過 diskutil 命令設置某一塊磁盤是否開啟或者關閉碎片整理。
圖 1 - macOS 磁盤工具
我們在 前一篇文章 中曾經分析過為什么早期 Windows 操作系統每隔一段時間可能需要整理磁盤上的碎片[^1]，該問題背后有兩個原因，其一是 Windows 使用的 FAT 是很簡單的文件系統，該文件系統的設計決定了同一份文件可能會散落在磁盤的不同位置，其二是固態硬盤在上古時代沒有普及，機械硬盤的隨機讀寫性能很差。
- Linux 和 macOS 系統不需要碎片整理的原因與 Windows 需要碎片整理的原因正好相反：
- Linux 和 macOS 使用的文件系統或者降低了碎片發生的概率或者實現自動整理碎片的特性;
固態硬盤與機械硬盤具有不同的特性，碎片整理可能不僅對提高讀寫性能沒有顯著的幫助，還不利于硬件的使用壽命;
文件系統
Linux 一般都使用 Ext2、Ext3 和 Ext4 文件系統，今天的大多數 Linux 發行版都選擇了 Ext4。與 Windows 將多個文件連續存儲的方式不同，Linux 會把文件散落到磁盤的不同地方存儲，同時在文件之間留下一些空間，保證文件在修改或者更新時不會造成碎片。
圖 2 - Linux 文件系統[^2]
今天的 macOS 多數都使用 APFS 文件系統[^3]，它是蘋果專門為固態硬盤等設備優化的文件系統。更早的 HFS 和 HFS+ 都是用了基于區塊(Extent)的設計，每個區塊都包含序號和一段連續的存儲空間，這種分配方式會在文件系統中查找幾個連續的區塊來提供所需的空間。
圖 3 - macOS 文件系統
無論是 Linux 還是 macOS，它們的文件系統都是基于區塊設計的，而磁盤的空間分配也相對比較合理，所以不會出現 Windows 系統上碎片化的磁盤。
除了文件系統在設計就避免了碎片的出現之外，Linux 和 macOS 也都是引入了延遲分配空間的策略，它們會通過緩沖區盡可能延遲磁盤寫入的時間，這樣不僅能夠降低刷盤的概率，還能增加文件寫入相鄰區塊的概率，然而這種機制并不是沒有副作用，在系統斷電或者崩潰時可能會丟失更多的數據。
如果磁盤上確實出現了碎片，那么 Linux 和 macOS 的文件系統也會嘗試移動出現碎片的文件，不需要額外的碎片整理工具，這種設計帶來的用戶體驗會比手動觸發耗時較長的碎片整理好很多。macOS 上的 HFS+ 系統還支持實時的去碎片化，當滿足以下條件時會觸發碎片整理[^4]：
- 文件小于 20 MB;
- 文件存儲在 8 個以上的區塊上;
- 文件在過去一分鐘沒有被更新;
- 系統已經啟動了三分鐘;
在多數情況下，這些操作系統中的磁盤碎片比例都非常低，只有在磁盤空間不足時才會開始出現碎片，所以在這時我們其實需要的是一個更大的磁盤或者更新的電腦，而不是整理磁盤上的碎片。
固態硬盤
固態硬盤其實已經是有著三十年歷史的存儲介質了，但是由于固態硬盤的價格在過去一直都十分昂貴，所以沒有在數據中心和個人電腦中普及開來。哪怕是在今天，機械磁盤的價格與固態硬盤相比也有比較明顯的優勢。
圖 4 - 固態硬盤和機械硬盤價格對比
新型的存儲介質帶來了全新的特性和性能，我們在前一篇文章中曾經介紹過，因為機械硬盤的機械結構，所以它的隨機 I/O 與順序的 I/O 性能可能相差幾百倍，碎片整理可以將散落在磁盤上的數據合并到一處，隨機 I/O 的次數減少自然也會提高讀寫文件的性能。
固態硬盤的順序 I/O 和隨機 I/O 在性能上雖然也有差異，但是差距可能在十幾倍到幾十倍之間，而固態硬盤的隨機 I/O 延遲也比機械磁盤好幾十倍甚至上千倍，到現在來看整理固態硬盤上的碎片雖然有收益，但是也比較有限。
圖 5 - NAND 閃存的演進
作為電子元件的固態硬盤雖然有著較好的性能表現，但是固態硬盤都有循環擦寫的次數限制，也被稱作 P/E。它的壽命與機械硬盤相比卻比較有限。如果一個 512 GB 的固態硬盤的擦寫數目是 1000 次，每次寫滿數據都會消耗一次壽命，等擦寫次數達到 1000 次之后硬盤就會報廢，碎片整理其實就是主動移動硬盤上的數據，自然會影響硬件的壽命。
總結
在軟件工程中有一個非常有趣的現象，做硬件和基礎架構的工程師都在拼命優化系統的性能，然而應用層的工程師很多時候并不在乎性能上的微小差異，而這也是工作職責上的差異帶來的結果，不同的位置決定了不同的關注點。
硬件的演進和革新深深地影響著上層軟件的設計，想要設計出通用的系統是異常困難的，在設計文件系統時如果不考慮底層硬件的特性，也就無法充分利用硬件提供的性能并得到期望的結果。這里簡單總結一下 Linux 和 macOS 不需要碎片整理的兩個原因：
- 文件系統基于區塊分配的設計使得磁盤上出現碎片的概率很低，延遲分配和自動的整理策略解放了操作系統的使用者，在多數情況下不需要考慮磁盤的碎片化;
- 固態硬盤的隨機讀寫性能遠遠好于機械硬盤，隨機讀寫和順序讀寫雖然也有性能差異，但是沒有機械硬盤的差異巨大，而頻繁的碎片整理也會影響固態硬盤的使用壽命;
到最后，我們還是來看一些比較開放的相關問題，有興趣的讀者可以仔細思考一下下面的問題，與前面的問題不同，作者會在后面的文章中解答這兩個問題：
- 為什么固態硬盤的擦寫次數有上限?
- 機械硬盤在哪些情況下更容易損壞?
如果對文章中的內容有疑問或者想要了解更多軟件工程上一些設計決策背后的原因，可以在博客下面留言，作者會及時回復本文相關的疑問并選擇其中合適的主題作為后續的內容。
參考資料
[^1]: 為什么早期的 Windows 需要整理碎片 https://draveness.me/whys-the-design-windows-defragmentation/
[^2]: Is there a tool to visualize a filesystem allocation map on Linux? https://unix.stackexchange.com/questions/30743/is-there-a-tool-to-visualize-a-filesystem-allocation-map-on-linux
[^3]: Wikipedia: Apple File System https://en.wikipedia.org/wiki/Apple_File_System
[^4]: HFS+ and File System Fragmentation https://developercoach.com/file-system-fragmentation/
本文轉載自微信公眾號「真沒什么邏輯」，可以通過以下二維碼關注。轉載本文請聯系真沒什么邏輯公眾號。
