Linux高端内存映射

概述

在32位的系统上，内核占有从第3GB~第4GB的线性地址空间，共1GB大小，内核将其中的前896MB与物理内存的0~896MB进行直接映射，即线性映射，将剩余的128M线性地址空间作为访问高于896M的内存的一个窗口。

引入高端内存映射这样一个概念的主要原因就是我们所安装的内存大于1G时，内核的1G线性地址空间无法建立一个完全的直接映射来触及整个物理内存空间，而对于80x86开启PAE的情况下，允许的最大物理内存可达到64G，因此内核将自己的最后128M的线性地址空间腾出来，用以完成对高端内存的暂时性映射。

而在64位的系统上就不存在这样的问题了，因为可用的线性地址空间远大于可安装的内存。下图描述了内核1GB线性地址空间是如何划分的。

其中可以用来完成上述映射目的的区域为vmalloc area，Persistent kernel mappings区域和固定映射线性地址空间中的FIX_KMAP区域，这三个区域对应的映射机制分别为非连续内存分配， 永久内核映射 和 临时内核映射。

永久内核映射

在内核初始化页表管理机制时，专门用pkmap_page_table这个变量保存了PKMAP_BASE对应的页表项的地址，由pkmap_page_table来维护永久内核映射区的页表项的映射，页表项总数为LAST_PKMAP个。

这里的永久并不是指调用kmap()建立的映射关系会一直持续下去无法解除，而是指在调用kunmap()解除映射之间这种映射会一直存在，这是相对于临时内核映射机制而言的。

需要注意一点的是，当永久内核映射区没有空闲的页表项可供映射时，请求映射的进程会被阻塞，因此永久内核映射请求不能发生在中断和可延迟函数中。

临时内核映射

临时内核映射和永久内核映射相比，其最大的特点就是不会阻塞请求映射页框的进程，因此临时内核映射请求可以发生在中断和可延迟函数中。系统中的每个CPU都有自己的临时内核映射窗口，根据不同的需求，选择不同的窗口来创建映射。

临时内核映射的实现也比永久内核映射要简单，当一个进程申请在某个窗口创建映射，即使这个窗口已经在之前就建立了映射，新的映射也会建立并且覆盖之前的映射，所以说这种映射机制是临时的，并且不会阻塞当前进程。

非连续内存分配

非连续内存分配是指将物理地址不连续的页框映射到线性地址连续的线性地址空间，主要应用于大容量的内存分配。采用这种方式分配内存的主要优点是避免了外部碎片，而缺点是必须打乱内核页表，而且访问速度较连续分配的物理页框慢。

非连续内存分配的线性地址空间是从VMALLOC_START到VMALLOC_END，共128M，每当内核要用vmalloc类的函数进行非连续内存分配，就会申请一个vm_struct结构来描述对应的vmalloc区，两个vmalloc区之间的间隔至少为一个页框的大小，即PAGE_SIZE。下图是非连续内存分配区的示意图

总结

至此，已将高端内存所有区域的映射介绍完毕。在我看来，内核的线性地址空间都可以视为一种资源，因为必须通过线性地址来访问页表，进一步通过页表来访问相应的物理内存。

由于内核的线性地址空间有限，因此采取上面介绍的三种方式来映射高端内存。需要明确的一点就是，线性地址与页表之间的映射是固定不可变的，而页表到具体的物理页框之间的映射是可以改变的，内核正是利用页表到物理页框之间的映射的可变性来为高端内存建立“临时”的映射，这三种机制本质上都回归到这点。

永久内核映射和临时内核映射，都由内核指定了需要进行映射的页面，也就是说指定了页描述符(页描述符和物理页框之间的关系是固定不可变的)，在永久内核映射中，内核只需要在永久内核映射区找到空闲的，也就是未被映射的线性地址对应的页表项，然后将其分配给page即可，若找不到则将阻塞申请建立映射的进程；而临时内核映射更直接，连进行映射的线性地址窗口都是固定的，若是其已经分配给了某个页框，则直接抢过来用，因此之前的映射就被覆盖了，体现出了临时性。

非连续内存分配，内核不用指定具体的page,只需指定要申请的内存大小，内核将在非连续内存分配区找到一块相应大小虚拟地址空间，然后再由伙伴系统分配页框，还要通过slab分配器为一些数据结构分配内存，最后再用同样的方式(设置PTE表项)来建立映射，其中涉及到伙伴系统和slab分配的部分都没做具体分析，在后面的文章中再着重分析这些部分。

常见问题

• 用户空间（进程）是否有高端内存概念？

用户进程没有高端内存概念。只有在内核空间才存在高端内存。用户进程最多只可以访问3G物理内存，而内核进程可以访问所有物理内存。

• 用户进程能访问多少物理内存？内核代码能访问多少物理内存？

32位系统用户进程最大可以访问3GB，内核代码可以访问所有物理内存。
64位系统用户进程最大可以访问超过512GB，内核代码可以访问所有物理内存。

PS
本文是这一系列文章的书摘：

• Linux高端内存映射（上） (http://blog.csdn.net/vanbreaker/article/details/7579941)
• Linux高端内存映射（中）(http://blog.csdn.net/vanbreaker/article/details/7580771)
• Linux高端内存映射（下）(http://blog.csdn.net/vanbreaker/article/details/7591844)