smp 与 numa
- smp
smp(symmetrical multi-promcessing) 对称多处理，是指在一个计算机上汇集了一组cpu，各cpu之间共享内存子系统以及总线．
smp 的主要特征是共享，系统中所有的资源都是共享的（cpu，mem，io）
随着cpu数量的增加（通常2-4个），内存访问冲突会增加，导致资源的浪费
- numa
numa(Non-uniform memory access)非一致内存访问，可以把几十个cpu组合在一个系统内，通过cpu模块进行组织，每个模块有独立的内存以及io槽口．
内存组织基本概念
以numa举例
- 节点 (Node)
内存划分为节点（node），每个节点关联到一个cpu，内存中每个 Numa 节点使用一个 pg_data_t 结构体描述其结构；在 Uma 系统中， - 内存域(Zone)
各个节点又划分为内存域，通常会有3个，对于可用于 DMA 操作的内存区是有限制的，还有一个高端内存区无法直接映射，在二者之间是通用的普通内存区
- 待补充
Numa 相关命令实践
numactl
[root@ceph1 ~]# numactl -s
policy: default
preferred node: current
physcpubind: 0
cpubind: 0
nodebind: 0
membind: 0
策略：
1、每个进程（或线程）都会从父进程继承 NUMA 策略，并分配有一个优先 node。如果 NUMA 策略允许的话，进程可以调用其他 node 上的资源。
2、NUMA 的 CPU 分配策略有 cpunodebind、physcpubind。cpunodebind 规定进程运行在某几个 node 之上，而 physcpubind 可以更加精细地规定运行在哪些核上。
3、NUMA 的内存分配策略有 localalloc、preferred、membind、interleave。
- default 总是在本地节点上分配
- bind 指定节点
- interleave 在所有节点上分配
- preferred 指定节点，失败时选择其他节点
因为 NUMA 默认的内存分配策略是优先在进程所在 CPU 的本地内存 node 中分配，会导致 CPU 节点之间内存分配不均衡，当某个 CPU 节点的内存不足时，会导致 swap 产生，而不是从远程节点分配内存。这就是所谓的 swap insanity 现象。
numastat
[root@ceph1 ~]# numastat
node0
numa_hit 96933059
numa_miss 0
numa_foreign 0
interleave_hit 13507
local_node 96933059
other_node 0
说明：
numa_hit—命中的，也就是为这个节点成功分配本地内存访问的内存大小
numa_miss—把内存访问分配到另一个 node 节点的内存大小，这个值和另一个 node 的 numa_foreign 相对应。
numa_foreign–另一个 Node 访问我的内存大小，与对方 node 的 numa_miss 相对应
local_node—- 这个节点的进程成功在这个节点上分配内存访问的大小
other_node—- 这个节点的进程 在其它节点上分配的内存访问大小
bind
可以制定程序在某一个 cpu 以及 mem node 上运行
#numactl --cpubind=0 --membind=0 ls -lrt
问题
swap
NUMA 的内存分配策略对于进程（或线程）之间来说，并不是公平的。如果使用默认的分配策略，会使资源独占程序很容易将某个 node 的内存用尽。而当某个 node 的内存耗尽时，Linux 又刚好将这个 node 分配给了某个需要消耗大量内存的进程（或线程），swap 就妥妥地产生了。尽管此时还有很多 page cache 可以释放，甚至还有很多的 free 内存。
参考
参考原文：https://blog.csdn.net/wylfeng…