使用eRDMA容器镜像快速配置eRDMA-GPU云服务器-阿里云

eRDMA（Elastic Remote Direct Memory Access）是一种高性能网络通信技术，将 eRDMA 功能引入容器（Docker）环境可以实现容器应用程序绕过操作系统内核直接访问主机的物理 eRDMA 设备，从而提供更快的数据传输和通信效率，适用于在容器中需要大规模数据传输和高性能网络通信的应用场景。本文介绍如何使用 eRDMA 镜像在 GPU 实例上快速配置 eRDMA。

镜像名称	版本信息	镜像地址	适用的 GPU 实例	优势
eRDMA	Python：3.10.12 CUDA：12.4.1 cuDNN：9.1.0.70 NCCL：2.21.5 基础镜像：Ubuntu 22.04	egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/erdma:cuda12.4.1-cudnn9-ubuntu22.04	eRDMA 镜像仅支持 ebmgn7ex、ebmgn7ix 以及所有 8 代 GPU 实例（例如 ebmgn8is、gn8is 等）选择。	在容器内直接访问阿里云 eRDMA 网络。阿里云提供 eRDMA 和驱动、CUDA 适配来保障功能的开箱即用。
eRDMA	Python：3.10.12 CUDA：12.1.1 cuDNN：8.9.0.131 NCCL：2.17.1 基础镜像：Ubuntu 22.04	egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/erdma:cuda12.1.1-cudnn8-ubuntu22.04		在容器内直接访问阿里云 eRDMA 网络。阿里云提供 eRDMA 和驱动、CUDA 适配来保障功能的开箱即用。

sudo apt-get update
sudo apt-get -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL http://mirrors.cloud.aliyuncs.com/docker-ce/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] http://mirrors.cloud.aliyuncs.com/docker-ce/linux/ubuntu \
  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli containerd.io

```
docker -v
```

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

```
sudo systemctl enable docker
sudo systemctl restart docker
```

sudo docker pull egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/erdma:cuda12.1.1-cudnn8-ubuntu22.04

 sudo docker run -d -t --network=host --gpus all \
  --privileged \
  --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 \
  --name erdma \
  -v /root:/root \
  egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/erdma:cuda12.1.1-cudnn8-ubuntu22.04

1. ```
sudo docker exec -it erdma bash
```
2. ```
ibv_devinfo
```

```
git clone https://github.com/NVIDIA/nccl-tests.git
```

apt update
apt install openmpi-bin libopenmpi-dev -y
cd nccl-tests && make MPI=1 CUDA_HOME=/usr/local/cuda NCCL_HOME=/usr/local/cuda MPI_HOME=/usr/lib/x86_64-linux-gnu/openmpi

1. ```
ssh-keygen
ssh-copy-id -i ~/.ssh/id_rsa.pub ${host2}
```
2. ```
apt-get update && apt-get install ssh -y
mkdir /run/sshd
/usr/sbin/sshd -p 12345 
```
3. ```
ssh root@{host2}  -p 12345
```

mpirun --allow-run-as-root -np 16 -npernode 8 -H 172.16.15.237:8,172.16.15.235:8 \
 --bind-to none -mca btl_tcp_if_include eth0 \
 -x NCCL_SOCKET_IFNAME=eth0 \
 -x NCCL_IB_DISABLE=0 \
 -x NCCL_IB_GID_INDEX=1 \
 -x NCCL_NET_GDR_LEVEL=5 \
 -x NCCL_DEBUG=INFO \
 -x NCCL_ALGO=Ring -x NCCL_P2P_LEVEL=3 \
 -x LD_LIBRARY_PATH -x PATH \
 -mca plm_rsh_args "-p 12345" \
 /workspace/nccl-tests/build/all_reduce_perf -b 1G -e 1G -f 2 -g 1 -n 20

```
eadm stat -d erdma_0 -l
```

使用eRDMA容器镜像快速配置eRDMA提升网络性能

准备工作

操作步骤

测试验证

相关文档