RISC-V 缺页异常处理程序分析（2）：handle_pte_fault() 和 do_anonymous_page()

// mm/memory.c: 4515
static vm_fault_t handle_pte_fault(struct vm_fault *vmf)
{
	pte_t entry;

	/* pmd 项为 0，此涉及巨页机制相关，暂不作讨论 */
	if (unlikely(pmd_none(*vmf->pmd))) {

		vmf->pte = NULL;
	} else {

		/* 找到虚拟地址对应页表项指针，并将该项的值赋值给 vmf->orig_pte */
		vmf->pte = pte_offset_map(vmf->pmd, vmf->address);
		vmf->orig_pte = *vmf->pte;

		/*
		 * some architectures can have larger ptes than wordsize,
		 * e.g.ppc44x-defconfig has CONFIG_PTE_64BIT=y and
		 * CONFIG_32BIT=y, so READ_ONCE cannot guarantee atomic
		 * accesses.  The code below just needs a consistent view
		 * for the ifs and we later double check anyway with the
		 * ptl lock held. So here a barrier will do.
		 */
		/* 内存屏障，保证前面的赋值完成后再进行下面的页表项是否为 0 的判断，防止编译器优化 */
		barrier();
		/*
		 * 如果页表项为 0，解除其指针的临时映射，将页表项指针指向空
		 * 为什么要解除呢？如果不解除后面继续用可以吗？
		 * 实际上这是对 32 位有高端内存的系统而设计的，临时映射用于访存
		 * 的地址范围有限，属于珍贵资源，后续会有一些阻塞流程，
		 * 一直占着不合理，此处解除后面用了再申请。
		 * 对 64 位系统，不需要临时映射的方式，pte_unmap() 什么也不做。
		 */
		if (pte_none(vmf->orig_pte)) {
			pte_unmap(vmf->pte);
			vmf->pte = NULL;
		}
	}

	/*
	 * 判断页表项是否为空，若为空，说明目前还没有为该项分配页表
	 * 这当然不是 fork() 后复用父进程的进程地址空间，因为在 fork() 中
	 * 会复制父进程的页表。也不可能是交换，交换意味着该地址已经存在页表了。
	 */
	if (!vmf->pte) {
		/* 属于匿名映射，调用 do_anonymous_page() 处理 */
		if (vma_is_anonymous(vmf->vma))
			return do_anonymous_page(vmf);
		else
			/* 文件映射的异常，调用 do_fault() 处理 */
			return do_fault(vmf);
	}
	/* 页表项 P 位为 0，说明页被交换出去了，调用 do_swap_page() 换回来 */
	if (!pte_present(vmf->orig_pte))
		return do_swap_page(vmf);
	/* 页所在节点不正确，暂不做分析 */
	if (pte_protnone(vmf->orig_pte) && vma_is_accessible(vmf->vma))
		return do_numa_page(vmf);

	vmf->ptl = pte_lockptr(vmf->vma->vm_mm, vmf->pmd);
	spin_lock(vmf->ptl);
	entry = vmf->orig_pte;
	/* 看看有没有被其他线程修改，*vmf->pte 和 entry 不同说明修改了，就不用再继续处理了，mips 架构会刷新 tlb */
	if (unlikely(!pte_same(*vmf->pte, entry))) {
		update_mmu_tlb(vmf->vma, vmf->address, vmf->pte);
		goto unlock;
	}
	if (vmf->flags & FAULT_FLAG_WRITE) {
		/* 写内存的异常，页表项又无 W 权限，说明是写保护的情形，调用 do_wp_page() 处理 */
		if (!pte_write(entry))
			return do_wp_page(vmf);

		/*
		 * 写内存的异常，页表项又有 W 权限，说明是软件管理 W 位的处理器架构，这种 CPU 会抛出异常，让软件处理
		 */
		entry = pte_mkdirty(entry);
	}
	/* 将 Access 位置位，原因和上面的 Dirty 位一样 */
	entry = pte_mkyoung(entry);
	/*
	 * 将上面修改好的 entry 写入页表项，并刷新 MMU cache 相关内容，工作做到位，这样同样的位置就不会再出现缺页异常了。
	 * ptep_set_access_flags() 函数规定专门用于更新页表项的 Access，Dirty 或者 Write 权限位。
	 */
	if (ptep_set_access_flags(vmf->vma, vmf->address, vmf->pte, entry,
				vmf->flags & FAULT_FLAG_WRITE)) {
		update_mmu_cache(vmf->vma, vmf->address, vmf->pte);
	} else {
		/* Skip spurious TLB flush for retried page fault */
		if (vmf->flags & FAULT_FLAG_TRIED)
			goto unlock;
		/*
		 * This is needed only for protection faults but the arch code
		 * is not yet telling us if this is a protection fault or not.
		 * This still avoids useless tlb flushes for .text page faults
		 * with threads.
		 */
		if (vmf->flags & FAULT_FLAG_WRITE)
			flush_tlb_fix_spurious_fault(vmf->vma, vmf->address);
	}
unlock:
	pte_unmap_unlock(vmf->pte, vmf->ptl);
	return 0;
}

// mm/memory.c: 3726
static vm_fault_t do_anonymous_page(struct vm_fault *vmf)
{
	struct vm_area_struct *vma = vmf->vma;
	struct page *page;
	vm_fault_t ret = 0;
	pte_t entry;

	...
	/* 先申请页表，因为私有匿名页在建立的时候根本就没有为其分配页表 */
	if (pte_alloc(vma->vm_mm, vmf->pmd))
		return VM_FAULT_OOM;

	/* 如果不是写异常，直接用公用的 zero-page 页给进程 */
	/* Use the zero-page for reads */
	if (!(vmf->flags & FAULT_FLAG_WRITE) &&
			!mm_forbids_zeropage(vma->vm_mm)) {
		/* 将 zero-page 页的物理地址及一些权限位写入 entry，用于写入 pte */
		entry = pte_mkspecial(pfn_pte(my_zero_pfn(vmf->address),
						vma->vm_page_prot));
		/* 获取该虚拟地址对应的页表项指针 */
		vmf->pte = pte_offset_map_lock(vma->vm_mm, vmf->pmd,
				vmf->address, &vmf->ptl);
		/*
		 * 检查一下，如果目前 pte 的值已经不为空了，说明其他线程已经做好此工作，
		 * 对 mips 而言需要刷一下 tlb 再退出，其他架构，什么也不做就退出。
		 * 罕见的现象，因为应用程序不同线程处理同一地址不加锁是不常见的。
		 */
		if (!pte_none(*vmf->pte)) {
			update_mmu_tlb(vma, vmf->address, vmf->pte);
			goto unlock;
		}
		...
		/* 跳转到 setpte 标号处，将准备好的 entry 真正写入 pte */
		goto setpte;
	}
	/* 以下为分配私有页面的流程 */
	/* Allocate our own private page. */

	/* 分配 anon_vma，并和 vma 建立关联，这在反射机制时有用 */
	if (unlikely(anon_vma_prepare(vma)))
		goto oom;
	/* 分配一个物理页，且会将该页置零 */
	page = alloc_zeroed_user_highpage_movable(vma, vmf->address);
	if (!page)
		goto oom;

	if (mem_cgroup_charge(page_folio(page), vma->vm_mm, GFP_KERNEL))
		goto oom_free_page;
	cgroup_throttle_swaprate(page, GFP_KERNEL);

	/*
	 * The memory barrier inside __SetPageUptodate makes sure that
	 * preceding stores to the page contents become visible before
	 * the set_pte_at() write.
	 */
	/* 新申请的页面设置 update 标志 */
	__SetPageUptodate(page);

	/* 以下会根据物理页的物理地址，以及相应权限设置页表项，预先保存在 entry 中 */
	entry = mk_pte(page, vma->vm_page_prot);
	entry = pte_sw_mkyoung(entry);
	if (vma->vm_flags & VM_WRITE)
		entry = pte_mkwrite(pte_mkdirty(entry));

	/* 取得 pte 的指针，加锁，保证不会同时有 CPU 线程修改该 pte */
	vmf->pte = pte_offset_map_lock(vma->vm_mm, vmf->pmd, vmf->address,
			&vmf->ptl);
	/* 再判断一下，有没有之前被别的线程改过，改过就不处理了，直接刷新本 CPU 线程的 MMU 相关缓存 */
	if (!pte_none(*vmf->pte)) {
		update_mmu_cache(vma, vmf->address, vmf->pte);
		goto release;
	}

	ret = check_stable_address_space(vma->vm_mm);
	if (ret)
		goto release;

	...
	/* 把页加入匿名页反射机制的结构中 */
	page_add_new_anon_rmap(page, vma, vmf->address, false);
	/* 把页加入 LRU 链表中，回收相关机制会使用 */
	lru_cache_add_inactive_or_unevictable(page, vma);
setpte:
	/* 将刚刚暂存的 entry 的值写到 pte 中，刷新本 CPU 线程的 MMU 相关缓存 */
	set_pte_at(vma->vm_mm, vmf->address, vmf->pte, entry);

	/* No need to invalidate - it was non-present before */
	update_mmu_cache(vma, vmf->address, vmf->pte);
unlock:
	pte_unmap_unlock(vmf->pte, vmf->ptl);
	return ret;
release:
	put_page(page);
	goto unlock;
oom_free_page:
	put_page(page);
oom:
	return VM_FAULT_OOM;
}