Linux内存管理-之-KSM功能介绍

取消该建议并恢复未共享的页面;因此 KSM 取消合并它在该范围内合并的任何内容。注意;这个取消合并的调用可能会突然需要比可用内存更多的内存 - 可能会因 EAGAIN 而失败;但更有可能引起 Out-Of-Memory 杀手。

如果 KSM 未配置到正在运行的内核中;则 madvise MADV_MERGEABLE 和 MADV_UNMERGEABLE 只会以 EINVAL 失败。如果正在运行的内核是用 CONFIG_KSM=y 构建的;那么这些调用通常会成功;即使 KSM 守护进程当前没有运行;只要 KSM 守护进程启动;MADV_MERGEABLE 仍然会注册范围;即使该范围不能包含 KSM 可以实际合并的任何页面;即使MADV_UNMERGEABLE应用于一个从来没有MADV_MERGEABLE的范围。

如果必须将内存区域拆分为至少一个新的 MADV_MERGEABLE 或 MADV_UNMERGEABLE 区域;则如果进程超出vm.max_map_count;则 madvise 可能会返回 ENOMEM 。

与其他 madvise 调用一样;它们旨在用于用户地址空间的映射区域;如果指定的范围包含未映射的间隙;尽管在中间映射区域上工作;;它们将报告 ENOMEM;如果没有足够的内存;则可能会失败并显示 EAGAIN内部结构。

应用程序在使用 MADV_MERGEABLE 时应考虑周到;将其使用限制在可能受益的领域。KSM 的扫描可能会使用大量处理能力;因此某些安装会禁用 KSM。

1.1 KSM 守护进程 sysfs 接口

KSM 守护进程由 中的 sysfs 文件控制/sys/kernel/mm/ksm/;所有人都可以读取;但只能由 root 用户写入;

• pages_to_scan

在 ksmd 进入睡眠状态之前要扫描多少页;例如。echo 100 > /sys/kernel/mm/ksm/pages_to_scan默认值;100;选择用于演示目的;

• sleep_millisecs

下一次扫描前 ksmd 应该休眠多少毫秒;例如 echo 20 > /sys/kernel/mm/ksm/sleep_millisecs默认值;20;选择用于演示目的;

• merge_across_nodes

指定是否可以合并来自不同 NUMA 节点的页面。当设置为 0 时;ksm 仅合并物理上驻留在同一 NUMA 节点的内存区域中的页面。这为访问共享页面带来了更低的延迟。具有更多节点且 NUMA 距离较远的系统可能会受益于设置 0 的较低延迟。需要最小化内存使用量的较小系统可能会受益于设置 1;默认值;的更大共享。

在决定使用哪种设置之前;您可能希望比较系统在每种设置下的性能。merge_across_nodes只有在系统中没有ksm共享页面时才能更改设置;将run 2设置为先取消合并页面;更改后merge_across_nodes设置为1 ;根据新设置重新合并 。默认值;1;在早期版本中跨节点合并;

• run

设置为 0 以停止 ksmd 运行但保留合并页面;

设置为 1 以运行 ksmd 例如;echo 1 > /sys/kernel/mm/ksm/run

设置为 2 以停止 ksmd 并取消合并当前合并的所有页面;但保留已注册的可合并区域以供下次运行。默认值;0;必须更改为 1 才能激活 KSM;除非禁用 CONFIG_SYSFS;

• use_zero_pages

指定是否应特别处理空页;即仅包含零的已分配页;。当设置为 1 时;空页将与内核零页合并;而不是像通常那样相互合并。这可以提高具有彩色零页的架构的性能;具体取决于工作负载。启用此设置时应小心;因为它可能会降低某些工作负载的 KSM 性能;例如;如果要合并的候选页面的校验和与空页面的校验和匹配。此设置可随时更改;仅对更改后合并的页面有效。默认值;0;早期版本中的正常 KSM 行为;

• max_page_sharing

每个 KSM 页面允许的最大共享。这会强制执行重复数据删除限制;以避免涉及遍历共享 KSM 页面的虚拟映射的虚拟内存操作的高延迟。最小值为 2;因为新创建的 KSM 页面将至少有两个共享者。该值越高;KSM 合并内存的速度越快;重复数据删除因子越高;但最坏情况下虚拟映射遍历对于任何给定 KSM 页面的速度可能越慢。减慢这种遍历意味着在交换、压缩、NUMA 平衡和页面迁移期间发生的某些虚拟内存操作会有更高的延迟;从而降低这些虚拟内存操作的调用者的响应能力。

• stable_node_chains_prune_millisecs

指定 KSM 检查达到重复数据删除限制的页面元数据以获取陈旧信息的频率。较小的毫秒值将释放具有较低延迟的 KSM 元数据;但它们会使 ksmd 在扫描期间使用更多 CPU。如果还没有一个 KSM 页面达到max_page_sharing;那就是一个错误。

KSM 和 MADV_MERGEABLE 的有效性显示在/sys/kernel/mm/ksm/;

• pages_shared

  正在使用多少共享页面

• pages_sharing

  还有多少网站正在共享它们;即节省了多少

• pages_unshared

有多少页面是唯一但反复检查合并的

• pages_volatile

  有多少页面变化太快而无法放在树中

• 全扫描

  已扫描所有可合并区域的次数

• stable_node_chains

  达到max_page_sharing限制的 KSM 页面数

• stable_node_dups

  重复的 KSM 页面数

较高的pages_sharingto比率pages_shared表示良好的共享;但较高的pages_unsharedto比率pages_sharing 表示浪费了精力。 pages_volatile包含几种不同类型的活动;但高比例也表明 madvise MADV_MERGEABLE 使用不当。

最大可能pages_sharing/pages_shared比率受max_page_sharing可调参数限制 。要增加比例max_page_sharing必须相应增加。

2.KSM技术应用场景

这里主要阐述在KVM上的应用

优点;

a. 一个VM启动;则只继承了父进程;qemu-kvm;的内存。一台VM的内存;可以让相同操作系统或者运行相同应用的VM共享。

b. 当开启了KSM;常用的进程数据存在缓存和主内存中。这样可以减少VM的缓存未命中;同时也提高了VM性能。

c. 共享内存降低了VM的总体内存使用率;从而允许更高的密度和更大的资源利用率。

当然每种技术都有局限性的;不同场景下;它的缺点也暴露无疑。

a.
利用KSM使内存超用。这会导致消耗一定的计算资源用于内存扫描;加重了CPU的消耗。内存超用;使得频繁地使用swap交互;导致VM性能下降。

b. KSM使用了边通道;side channels;;可能存在泄露客户信息的潜在风险。为此就要考虑在VM上关闭KSM。

所以总结一下应用的场景;

a. 生产环境慎用;应急时可开启。

b. 测试环境建议使用。

c. 桌面虚拟化环境建议使用;但要注意内存使用情况。

3. KSM技术实践

Linux的2.6.32 内核中新增了 KSM(Kernel Samepage Merging;;在CentOS 6和Fedora 16中;KSM默认是打开的。而debian和ubuntu默认是没有这个服务的。 KSM通过两个服务;ksmd和ksmtuned实现;管理员应该判断他们的环境并决定保持KSM处于运行状态还是关闭它。

对centos6系统来说;在没有开启KSM时就能够满足虚拟机的内存需求;那么最好关闭KSM。关闭的方法如下;

chkconfig ksmd off

chkconfig ksmtuned off

service ksmd off

service ksmtuned off

sudo apt-get install ksmtuned

service ksmtuned start

<memoryBacking>

<nosharepages/>

</memoryBacking>