大家好，最近在研究Linux內(nèi)核以及Linux系統(tǒng)編程的時(shí)候，經(jīng)常會碰到mmap內(nèi)存映射，mmap函數(shù)是實(shí)現(xiàn)高性能編程的一個(gè)關(guān)鍵點(diǎn)，下面我通過幾張圖詳細(xì)介紹一下mmap實(shí)現(xiàn)原理。

（本文以64位CPU為原型講解）

1.虛擬地址如何映射物理地址？

要了解mmap實(shí)現(xiàn)原理，首先必須了解虛擬地址如何映射物理地址，如果沒掌握這個(gè)知識點(diǎn)，后續(xù)閱讀會有很大的困難，切記！

虛擬地址映射物理地址采用的是頁表機(jī)制，64位CPU采用的是4級頁表。

圖片

64位CPU虛擬地址長度為64位，但實(shí)際只用48位就已滿足虛擬地址映射物理內(nèi)存的要求，如下圖：

圖片

64位CPU地址空間可分為三個(gè)部分：

• 128T用戶空間
• 128T內(nèi)核空間
• 其他：保留空間

用戶空間和內(nèi)核空間共256T，2的48次方剛好為256T，所以48位地址空間能映射所有的虛擬地址。

48位虛擬地址由五部分組成：

• pgd表偏移，四級表，9位
• pud表偏移，三級表，9位
• pmd表偏移，二級表，9位
• ptl表偏移，一級表，9位
• 物理頁偏移，12位

問題1：為什么pgd，pud，pmd，ptl表偏移是9位？

pgd，pud，pmd，ptl表實(shí)現(xiàn)原理都相同，我們以pgd來講解。

一張pgd表對應(yīng)一個(gè)物理頁，一個(gè)物理頁的大小為4KB，一個(gè)pgd_t表項(xiàng)為8個(gè)字節(jié)，一張pgd表能存儲4*1024/8=512個(gè)表項(xiàng)。

2的9次方等于512，所以采用9位的表偏移就能索引整張表的表項(xiàng)。

圖片

問題2：為什么物理頁偏移為12位？

一個(gè)物理頁為4KB，物理頁訪問是單字節(jié)訪問，2的12次方剛好為4KB，所以物理頁偏移為12位。

1.1 虛擬地址映射物理地址過程

虛擬地址映射物理地址需要依次索引pgd，pud，pmd，ptl表，具體過程如下：

• 步驟1：查詢pgd表

查詢pgd表，首先需要找到pgd表物理頁首地址，pgd表物理頁首地址由task_struct->mm_struct->pgd成員保存，每個(gè)進(jìn)程的task_struct->mm_struct->pgd成員數(shù)值不同，所以不同的進(jìn)程即使使用相同的虛擬地址也不會訪問相同到物理地址。

通過pgd表首地址+虛擬地址pgd表偏移索引到pgd_t表項(xiàng)完成pgd表查詢。

• 步驟2：查詢pud表
  

pgd_t表項(xiàng)存儲的是pud表物理頁首地址。

通過pud表首地址+虛擬地址pud表偏移索引到pud_t表項(xiàng)完成pud表查詢。

• 步驟3：查詢pmd表
  

pud_t表項(xiàng)存儲的是pmd表物理頁首地址。

通過pmd表首地址+虛擬地址pmd表偏移索引到pmd_t表項(xiàng)完成pmd表查詢。

• 步驟4：查詢ptl表
  

pmd_t表項(xiàng)存儲的是ptl表物理頁首地址。

通過ptl表首地址+虛擬地址ptl表偏移索引到pte表項(xiàng)完成ptl表查詢。

• 步驟5：映射物理地址
  

pte表項(xiàng)存儲的是物理頁首地址，pte+虛擬地址物理頁偏移就能定位到物理地址。

注意：定位到物理地址后，虛擬地址映射物理地址的過程就已完成。

思考：64位CPU頁表機(jī)制需要多少張表？ 

圖片

表的數(shù)量如下：

• pgd表1張，占用內(nèi)存4KB。
• pud表2的9次方張，占用內(nèi)存4KB * 512 = 2MB。
• pmd表2的18次方張，占用內(nèi)存4KB * 512 * 512 = 1GB。
• ptl表2的27次方張，占用內(nèi)存4KB * 512 * 512 * 512 = 512GB。

如果每張表都固定分配一個(gè)物理頁，所有的表占用的內(nèi)存空間已經(jīng)達(dá)到500多GB，這只是一個(gè)進(jìn)程占用的空間，如果有大量的進(jìn)程，占用內(nèi)存就非常恐怖了。

通常情況下，進(jìn)程只會使用很小的內(nèi)存，所以系統(tǒng)不會一下把所有的頁表都創(chuàng)建出來，而是采用動(dòng)態(tài)分配的方式創(chuàng)建，當(dāng)需要訪問虛擬地址時(shí)，通過缺頁中斷創(chuàng)建虛擬地址對應(yīng)的各個(gè)頁表。

2.mmap實(shí)現(xiàn)原理

mmap函數(shù)是一種內(nèi)存映射文件的方法，它可以將一個(gè)文件或設(shè)備映射到進(jìn)程的地址空間中，使得進(jìn)程可以像訪問內(nèi)存一樣訪問文件或設(shè)備。

mmap可以分為：文件映射和匿名映射。

mmap函數(shù)主要工作就是創(chuàng)建VMA。

2.1 VMA簡介

VMA（Virtual Memory Area，虛擬內(nèi)存區(qū)域）是Linux內(nèi)核中用于管理進(jìn)程虛擬內(nèi)存的數(shù)據(jù)結(jié)構(gòu)。每個(gè)進(jìn)程都有一個(gè)VMA鏈表，用于描述進(jìn)程的虛擬地址空間的不同區(qū)域。

VMA包含了一段連續(xù)的虛擬地址空間，它定義了該區(qū)域的起始地址、結(jié)束地址以及一些屬性信息。VMA可以表示進(jìn)程的代碼段、數(shù)據(jù)段、堆、棧等不同的內(nèi)存區(qū)域。

VMA對應(yīng)Linux內(nèi)核struct vm_area_struct對象。

注意：VMA用于指導(dǎo)虛擬內(nèi)存映射物理內(nèi)存，沒有VMA指導(dǎo)無法完成虛擬地址和物理地址映射。

圖片

struct vm_area_struct結(jié)構(gòu)體主要成員如下：

• vm_start：虛擬內(nèi)存區(qū)域起始地址。
• vm_end：虛擬內(nèi)存區(qū)域結(jié)束地址，vm_end減去vm_start為映射區(qū)域長度。
• vm_page_prot：虛擬內(nèi)存訪問權(quán)限，

PROT_READ：可讀

PROT_WRITE：可寫

PROT_EXEC：可執(zhí)行

• vm_page_flags：內(nèi)存映射標(biāo)志，

MAP_SHARED：共享映射

MAP_PRIVATE：私有映射

• vm_ops：文件映射操作集合，匿名映射為NULL。
• vm_pgoff：文件映射文件偏移量，匿名映射無效。
• vm_file：映射文件，匿名映射為NULL。

3.缺頁中斷

Linux缺頁中斷是指當(dāng)進(jìn)程訪問尚未建立映射關(guān)系的虛擬內(nèi)存時(shí)，系統(tǒng)會觸發(fā)缺頁中斷，并根據(jù)頁面的狀態(tài)來分配物理頁面并建立映射關(guān)系。

通過mmap創(chuàng)建VMA后，我們使用VMA內(nèi)存映射區(qū)虛擬地址，但此時(shí)虛擬地址不能映射物理地址，原因是映射表還沒有動(dòng)態(tài)創(chuàng)建出來。

圖片

當(dāng)缺頁中斷發(fā)生后，中斷處理函數(shù)會完成虛擬地址至物理地址各映射表創(chuàng)建。

各映射表的創(chuàng)建需要task_struct->mm_struct->pgd和虛擬地址表偏移量共同完成。

完成映射表創(chuàng)建后，還有最后一步工作需要完成，那就是pte創(chuàng)建。

pte該如何創(chuàng)建呢？

我們接著往下看...

4.文件映射

文件映射可以將文件的內(nèi)容映射到進(jìn)程的內(nèi)存空間。

文件映射pte指向文件的物理內(nèi)存頁，文件映射需要VMA指向?qū)?yīng)的文件，由文件來生成物理頁。

圖片

mmap函數(shù)實(shí)現(xiàn)文件映射時(shí)需指定文件fd，文件偏移量，文件映射長度。

內(nèi)核會根據(jù)文件fd，文件偏移量，文件映射長度填充新創(chuàng)建的VMA。

文件映射創(chuàng)建pte時(shí)根據(jù)VMA記錄的文件file，文件偏移量，文件映射長度定位到具體文件以及文件偏移位置，將磁盤文件內(nèi)容拷貝至物理內(nèi)存頁，再將物理內(nèi)存頁轉(zhuǎn)換成pte設(shè)置進(jìn)ptl表。

至此文件映射已完成，就能通過虛擬地址訪問文件物理內(nèi)存頁。

5.匿名映射

圖片

匿名映射相對來說比較簡單，只要在創(chuàng)建pte的時(shí)候，從物理內(nèi)存中申請一個(gè)物理內(nèi)存頁，將物理內(nèi)存頁轉(zhuǎn)換成pte設(shè)置進(jìn)ptl表，就完成匿名映射。