RISC-V 缺页异常处理程序分析（3）：文件映射缺页异常分析

// mm/memory.c : 4165
static vm_fault_t do_read_fault(struct vm_fault *vmf)
{
	struct vm_area_struct *vma = vmf->vma;
	vm_fault_t ret = 0;

	/*
	 * Let's call ->map_pages() first and use ->fault() as fallback
	 * if page by the offset is not ready to be mapped (cold cache or
	 * something).
	 */

	/*
	 * 多读附近的几页，局部性原理，减少缺页异常次数，对大部分文件系统来说
	 * do_fault_around() 最后会执行 filemap_map_pages() 函数。
	 */
	if (vma->vm_ops->map_pages && fault_around_bytes >> PAGE_SHIFT > 1) {
		if (likely(!userfaultfd_minor(vmf->vma))) {
			ret = do_fault_around(vmf);
			if (ret)
				return ret;
		}
	}

	/* 完成所缺页对应文件页缓存（file cache）获取 */
	ret = __do_fault(vmf);
	if (unlikely(ret & (VM_FAULT_ERROR | VM_FAULT_NOPAGE | VM_FAULT_RETRY)))
		return ret;

	/* 将对应页面的物理地址写入页表项 */
	ret |= finish_fault(vmf);
	unlock_page(vmf->page);
	if (unlikely(ret & (VM_FAULT_ERROR | VM_FAULT_NOPAGE | VM_FAULT_RETRY)))
		put_page(vmf->page);
	return ret;
}

// mm/memory.c : 4194
static vm_fault_t do_cow_fault(struct vm_fault *vmf)
{
	struct vm_area_struct *vma = vmf->vma;
	vm_fault_t ret;

	if (unlikely(anon_vma_prepare(vma)))
		return VM_FAULT_OOM;

	/*
	 * 申请一个新页，因为写私有文件映射后，就和原来的文件没有关系了，相当于变成了
	 * 一个私有匿名页。用新申请的页可以保护原来干净的 file cache，别的进程可以
	 * 直接用原来的 file cache
	 */
	vmf->cow_page = alloc_page_vma(GFP_HIGHUSER_MOVABLE, vma, vmf->address);
	if (!vmf->cow_page)
		return VM_FAULT_OOM;

	...

	/* 完成所缺页对应文件页缓存（file cache）获取 */
	ret = __do_fault(vmf);
	if (unlikely(ret & (VM_FAULT_ERROR | VM_FAULT_NOPAGE | VM_FAULT_RETRY)))
		goto uncharge_out;
	if (ret & VM_FAULT_DONE_COW)
		return ret;
	/*
	 * 把 file cache 的内容拷贝一份到 vmf->cow_page，完成私有文件页的写时复制，
	 * 后面该进程使用就是 cow_page，与磁盘中的文件对应的缓存无关了
	 */
	copy_user_highpage(vmf->cow_page, vmf->page, vmf->address, vma);
	__SetPageUptodate(vmf->cow_page);

	/* 将对应页面的物理地址写入页表项 */
	ret |= finish_fault(vmf);
	unlock_page(vmf->page);
	put_page(vmf->page);
	if (unlikely(ret & (VM_FAULT_ERROR | VM_FAULT_NOPAGE | VM_FAULT_RETRY)))
		goto uncharge_out;
	return ret;
uncharge_out:
	put_page(vmf->cow_page);
	return ret;
}

// mm/memory.c : 4233
static vm_fault_t do_shared_fault(struct vm_fault *vmf)
{
	struct vm_area_struct *vma = vmf->vma;
	vm_fault_t ret, tmp;
	/* 完成所缺页对应文件页缓存（file cache）获取 */
	ret = __do_fault(vmf);
	if (unlikely(ret & (VM_FAULT_ERROR | VM_FAULT_NOPAGE | VM_FAULT_RETRY)))
		return ret;

	/*
	 * Check if the backing address space wants to know that the page is
	 * about to become writable
	 */
	/* page_mkwrite 用于回写机制，这一步保证了被写过的页能够被及时回写到磁盘 */
	if (vma->vm_ops->page_mkwrite) {
		unlock_page(vmf->page);
		tmp = do_page_mkwrite(vmf);
		if (unlikely(!tmp ||
				(tmp & (VM_FAULT_ERROR | VM_FAULT_NOPAGE)))) {
			put_page(vmf->page);
			return tmp;
		}
	}

	/* 将对应页面的物理地址写入页表项 */
	ret |= finish_fault(vmf);
	if (unlikely(ret & (VM_FAULT_ERROR | VM_FAULT_NOPAGE |
					VM_FAULT_RETRY))) {
		unlock_page(vmf->page);
		put_page(vmf->page);
		return ret;
	}

	ret |= fault_dirty_shared_page(vmf);
	return ret;
}

// mm/memory.c : 3842
static vm_fault_t __do_fault(struct vm_fault *vmf)
{
	struct vm_area_struct *vma = vmf->vma;
	vm_fault_t ret;

	/* 会预先分配一下页表的页，避免死锁，memcg 机制会产生这种逻辑，此处暂时不做研究 */
	if (pmd_none(*vmf->pmd) && !vmf->prealloc_pte) {
		vmf->prealloc_pte = pte_alloc_one(vma->vm_mm);
		if (!vmf->prealloc_pte)
			return VM_FAULT_OOM;
	}
	/*
	 * 调用该文件映射页的虚拟地址区域 fault 钩子函数，一般文件系统对应 filemap_fault()
	 * filemap_fault() 简单来说就是先看以前有没有留下来文件页的缓存（file cache），如果
	 * 还有，则直接用留存的 file cache，赋给 vmf—>page，如果没有，则需要先新申请页作为
	 * file cache，再从磁盘中读取文件的数据到 cache。file cache 使得第二次映射同一个文件
	 * 读取会比第一次快。
	 */
	ret = vma->vm_ops->fault(vmf);

	...

	return ret;
}

// mm/filemap.c : 3417
const struct vm_operations_struct generic_file_vm_ops = {
	.fault		= filemap_fault,
	.map_pages	= filemap_map_pages,
	.page_mkwrite	= filemap_page_mkwrite,
};

// mm/memory.c : 4019
vm_fault_t finish_fault(struct vm_fault *vmf)
{
	struct vm_area_struct *vma = vmf->vma;
	struct page *page;
	vm_fault_t ret;

	/*
	 * 如果是写私有页，新页是新申请的 cow_page，而不是
	 * 复用 file cache 对应的 page，因为私有页是不会
	 * 回写到磁盘的。
	 */
	/* Did we COW the page? */
	if ((vmf->flags & FAULT_FLAG_WRITE) && !(vma->vm_flags & VM_SHARED))
		page = vmf->cow_page;
	else
		page = vmf->page;

	/*
	 * check even for read faults because we might have lost our CoWed
	 * page
	 */
	/*
	 * 确认一下页有没有被别的进程占用，私有页申请的内存在内存紧缺的时候可能会被占用
	 */
	if (!(vma->vm_flags & VM_SHARED)) {
		ret = check_stable_address_space(vma->vm_mm);
		if (ret)
			return ret;
	}

	...
	/* 获取 pte 指针，一定要加锁，因为有可能不同线程同时产生缺页异常，会有冲突 */
	vmf->pte = pte_offset_map_lock(vma->vm_mm, vmf->pmd,
				      vmf->address, &vmf->ptl);
	ret = 0;
	/* Re-check under ptl */
	if (likely(pte_none(*vmf->pte)))
	/* 将页的物理地址写入页表项，完成物理地址和虚拟地址之间的连接，函数内部进行了分类处理 */
		do_set_pte(vmf, page, vmf->address);
	else
		ret = VM_FAULT_NOPAGE;
	/* 此函数只对 MIPS 架构有用，因为 MIPS 是 TLB 中没有相关项就报异常，这样同步一下能减少一次缺页异常 */
	update_mmu_tlb(vma, vmf->address, vmf->pte);
	pte_unmap_unlock(vmf->pte, vmf->ptl);
	return ret;
}

// mm/memory.c: 3975
void do_set_pte(struct vm_fault *vmf, struct page *page, unsigned long addr)
{

	...
	/* 如果是写异常，将页表项的脏位置位，同时将写权限 W 位也置位 */
	if (write)
		entry = maybe_mkwrite(pte_mkdirty(entry), vma);

	/* copy-on-write page */
	/*
	 * 如果是私有写文件映射，由于其已经独立了，不再会影响文件页，所以视为
	 * 私有匿名页管理，将其加入私有匿名页的反射机制管理结构中，同时也将该
	 * 页加入 LRU 不活跃链表中，第一次访问不能证明其经常会被访问，所以暂且
	 * 放入不活跃链表。
	 * 如果是共享的文件页，将其加入文件页反射机制管理结构中。
	 * 上述两种情况都会调用 inc_mm_counter_fast() 增加该虚拟地址空间的引用
	 * 次数
	 */
	if (write && !(vma->vm_flags & VM_SHARED)) {
		inc_mm_counter_fast(vma->vm_mm, MM_ANONPAGES);
		page_add_new_anon_rmap(page, vma, addr, false);
		lru_cache_add_inactive_or_unevictable(page, vma);
	} else {
		inc_mm_counter_fast(vma->vm_mm, mm_counter_file(page));
		page_add_file_rmap(page, false);
	}
	/* 将页对应的物理地址写入页表项，完成该缺页虚拟地址到物理页的最终映射 */
	set_pte_at(vma->vm_mm, addr, vmf->pte, entry);
}