# numactl --hardware
Guest Numa

设置guest numa topology

qemu内部安装ACPI规范将node信息，topology信息防止在bios中供guest识别。
guest识别numa topology的意义在于，guest中的OS可以更好的进行进程调度和内存分配。
libvirt
-smp 8,sockets=1,cores=4,threads=1
-numa node,nodeid=0,cpus=0-3,mem=1000 -numa node,nodeid=1,cpus=4-7,mem=1000
可以在guest中使用numactl --hardware看到这些node节点。
CPU/内存亲和性设置
进程的处理器亲和性（Processor Affinity），即是CPU的绑定设置，是指将进程绑定到特定的一个或多个CPU上去执行，
而不允许调度到其他的CPU上。
在虚拟化环境中，qemu的vcpu是作为线程存在的，可以对线程进行亲和性设置。
多数情况下，我们无需设置亲和性。但是某些特殊场合，比如需要确保CPU资源不被其他虚拟机负载影响，
可以设置CPU的亲和性。
CPU亲和性由libvirt通过调用sched_setaffinity系统调用实现(如下以cpu热插中的代码为例），不需要在qemu层进行设置。
src/qemu/qemu_driver.c：
static int qemuDomainHotplugVcpus(virQEMUDriverPtr driver,
        ¦       ¦       ¦       ¦ virDomainObjPtr vm,
        ¦       ¦       ¦       ¦ unsigned int nvcpus)
      virProcessSetAffinity(cpupids[i],
src/util/virprocess.c：
int virProcessSetAffinity(pid_t pid, virBitmapPtr map)
      if (sched_setaffinity(pid, masklen, mask) < 0) {
memory的亲和性也是由libvirt通过调用numa_set_membind函数实现（由libnuma.so提供，该so为numactl的库）。
  virNumaSetupMemoryPolicy(virNumaTuneDef numatune,
          ¦       ¦       ¦virBitmapPtr nodemask)
        numa_set_membind(&mask);
备注：可以使用taskset工具手工对线程设置亲和性。
VCPU绑定物理核

<vcpu cpuset='1-2'>4</vcpu>
查看CPU绑定情况（其中28863为qemu的进程IP）
#grep Cpus_allowed_list /proc/28863/task/*/status 
/proc/28863/task/28863/status:Cpus_allowed_list:    1-2
/proc/28863/task/28864/status:Cpus_allowed_list:    1-2
/proc/28863/task/28865/status:Cpus_allowed_list:    1-2
/proc/28863/task/28866/status:Cpus_allowed_list:    1-2
/proc/28863/task/28867/status:Cpus_allowed_list:    1-2
cputune

cputune提供了精细的vcpu绑定设定，可以具体到每个vcpu设置。
而且提供vcpu能力的标准化，如quota,period,shares，可以用于实现cpu的Qos。
 <vcpu placement='static'>4</vcpu>
  <cputune>
    <shares>2048</shares>
    <period>1000000</period>
    <quota>-1</quota>
    <vcpupin vcpu='0' cpuset='8'/>
    <vcpupin vcpu='1' cpuset='16'/>
    <emulatorpin cpuset='16'/>
  </cputune>

<numatune>
    <memory mode="strict" nodeset="1"/>
  </numatune>
查看内存的设定情况：(其中18104为qemu的pid)
#grep Mems_allowed_list /proc/18104/task/*/status
/proc/18104/task/18104/status:Mems_allowed_list:    1
/proc/18104/task/18105/status:Mems_allowed_list:    1
/proc/18104/task/18106/status:Mems_allowed_list:    1
/proc/18104/task/18114/status:Mems_allowed_list:    1
numa
可以使用virsh numatune进行动态修改。
cpu affinity
可以使用virsh vcpupin进行修改。
设置emulator的cpu affinity
可以使用virsh emulatorpin进行修改。
Libvirt/qemu社区关于numa的最新动态

Add support for binding guest numa nodes to host numa nodes
社区review中。
提供了guest memory绑定策略的设置能力。
避免某些情况下由此导致的性能下降。 （比如PCI passthrough是设备DMA传输的情况？这点还是不太懂）
qemu配置方法范例：
-object memory-ram,size=512M,host-nodes=1,policy=membind,id=ram-node0 
-numa node,nodeid=0,cpus=0,memdev=ram-node0 
-object memory-ram,size=1024M,host-nodes=2-3,policy=interleave,id=ram-node1 
-numa node,nodeid=1,cpus=1,memdev=ram-node1 
numa的一些缺点

如果配置不当，可能不但无法获取高性能，反而有可能导致性能恶化。
另外numa与透明页共享的冲突，即由于页合并导致的跨node访问。
vmware对此有专门优化，频繁访问的页面，在node上有页面副本，从而避免跨node访问带来的性能恶化。
http://blog.csdn.net/halcyonbaby/article/details/20152559
memtune