基于AIACC加速器快速实现LLaMA-7B指令微调_云服务器 ECS-阿里云帮助中心

本文基于Alpaca提供了一套LLaMA-7B模型在阿里云ECS上进行指令微调的训练方案，最终可以获得性能更贴近具体使用场景的语言模型。

背景信息

LLaMA（ Large Language Model Meta AI ）是Meta AI在2023年2月发布的开放使用预训练语言模型（Large Language Model， LLM），其参数量包含7B到65B的集合，并仅使用完全公开的数据集进行训练。LLaMA的训练原理是将一系列单词作为“输入”并预测下一个单词以递归生成文本。

LLM具有建模大量词语之间联系的能力，但是为了让其强大的建模能力向下游具体任务输出，需要进行指令微调，根据大量不同指令对模型部分权重进行更新，使模型更善于遵循指令。指令微调中的指令简单直观地描述了任务，具体的指令格式如下：

{
  "instruction": "Given the following input, find the missing number",
  "input": "10, 12, 14, __, 18",
  "output": "16"
}

Alpaca 是一个由LLaMA-7B模型进行指令微调得到的模型，其训练过程中采用的通过指令对LLaMA-7B模型进行小规模权重更新的方式，实现了模型性能和训练时间的平衡。

本文基于Alpaca提供了一套LLaMA-7B模型，基于DeepSpeed进行指令微调训练，并使用AIACC加速训练。AIACC包括ACSpeed和AGSpeed两个加速器。

加速器	说明	相关文档
ACSpeed	AIACC-ACSpeed（简称ACSpeed）是阿里云自研的AI训练加速器，在AI框架层、集合算法层和网络层上分别实现了与开源主流分布式框架的充分兼容，并实现了软硬件结合的全面优化。ACSpeed具有其显著的性能优势，在提高训练效率的同时能够降低使用成本，可以实现无感的分布式通信性能优化。	什么是AI分布式训练通信优化库AIACC-ACSpeed
AGSpeed	AIACC-AGSpeed（简称AGSpeed）是阿里云推出的一个基于PyTorch深度学习框架研发的计算优化编译器，用于优化PyTorch深度学习模型在阿里云GPU异构计算实例上的计算性能，可以实现计算优化。	什么是计算优化编译器AIACC-AGSpeed

pip3 install --force-reinstall https://ali-perseus-release.oss-cn-huhehaote.aliyuncs.com/fastgpu/fastgpu-1.1.6-py3-none-any.whl

```
export ALIYUN_ACCESS_KEY_ID=****         #填入您的AccessKey ID
export ALIYUN_ACCESS_KEY_SECRET=****     #填入您的AccessKey Secret
export ALIYUN_DEFAULT_REGION=cn-beijing  #填入您希望使用的地域（Region）
```

```
fastgpu create --name aiacc_solution -i ecs.gn7i-c32g1.32xlarge --machines 1 --image_type aiacc_train_solution
```
1. ```
fastgpu addip -a
```
2. ```
fastgpu addip {aiacc_solution} 0.0.0.0/0 7860
```
```
fastgpu ssh aiacc_solution
```

mkdir /root/LLaMA && cd /root/LLaMA
yum install -y ninja-build centos-release-scl devtoolset-7 git-lfs
source /opt/rh/devtoolset-7/enable
echo "source /opt/rh/devtoolset-7/enable" >> /etc/bashrc;

git config --unset --global https.proxy
git config --unset --global http.proxy

git clone https://github.com/tatsu-lab/stanford_alpaca.git

wget https://repo.anaconda.com/miniconda/Miniconda3-py39_23.1.0-1-Linux-x86_64.sh
sh Miniconda3-py39_23.1.0-1-Linux-x86_64.sh

conda create -n llama_train python=3.9
conda activate llama_train
pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu117
pip install deepspeed==0.8.3
pip install protobuf==3.19.0
pip install accelerate
cd stanford_alpaca
pip install -r requirements.txt

wget https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/pdsh/pdsh-2.29.tar.bz2
tar -jxvf pdsh-2.29.tar.bz2
cd pdsh-2.29
./configure --with-ssh --with-rsh --with-mrsh--with-mqshell --with-qshell --with-dshgroups--with-machines=/etc/pdsh/machines --without-pam
make install
cd ..

1. ```
wget https://ali-perseus-release.oss-cn-huhehaote.aliyuncs.com/aiacc/aiacc-1.1.0.tar.gz
pip install aiacc-1.1.0.tar.gz
```
2. ```
import torch
import aiacc
```

cd /root/LLaMA
git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui
git reset --hard 7ff645899e4610b16574bdd22a4d154c93d5b830
pip install -r requirements.txt

```
yum install tmux
tmux
```
```
conda activate llama_train
```

cd /root/LLaMA
git lfs install
git clone https://huggingface.co/decapoda-research/llama-7b-hf

sed -i "s/LLaMATokenizer/LlamaTokenizer/1" ./llama-7b-hf/tokenizer_config.json

cd LLaMA/stanford_alpaca

cat << EOF | sudo tee ds_config.json
  "zero_optimization": {
    "stage": 3,
    "contiguous_gradients": true,
    "stage3_max_live_parameters": 0,
    "stage3_max_reuse_distance": 0,
    "stage3_prefetch_bucket_size": 0,
    "stage3_param_persistence_threshold": 1e2,
    "reduce_bucket_size": 1e2,
    "sub_group_size": 1e8,
    "offload_optimizer": {
      "device": "cpu",
      "pin_memory": true
    "offload_param": {
      "device": "cpu",
      "pin_memory": true
    "stage3_gather_16bit_weights_on_model_save": true
  "communication":{
    "prescale_gradients": true
  "fp16": {
    "enabled": true,
    "auto_cast": false,
    "loss_scale": 0,
    "initial_scale_power": 32,
    "loss_scale_window": 1000,
    "hysteresis": 2,
    "min_loss_scale": 1
  "train_batch_size": "auto",
  "train_micro_batch_size_per_gpu": "auto",
  "wall_clock_breakdown": false,
  "zero_force_ds_cpu_optimizer": false
EOF

```
cat > hostfile <<EOF
{private_ip1} slots=4
{private_ip2} slots=4
EOF
```

deepspeed --master_port=$MASTER_PORT --hostfile hostfile \
train.py \
--model_name_or_path ../llama-7b-hf \
--data_path ./alpaca_data.json \
--output_dir ./output \
--report_to none \
--num_train_epochs 1 \
--per_device_train_batch_size 2 \
--per_device_eval_batch_size 2 \
--gradient_accumulation_steps 8 \
--evaluation_strategy "no" \
--save_strategy "steps" \
--save_steps 400 \
--save_total_limit 2 \
--learning_rate 2e-5 \
--weight_decay 0. \
--warmup_ratio 0.03 \
--lr_scheduler_type "cosine" \
--logging_steps 1 \
--deepspeed ./ds_config.json \
--tf32 False \
--bf16 False \
--fp16

1. ```
conda activate llama_train
```
2. ```
cd /root/LLaMA/text-generation-webui
ln -s /root/LLaMA/llama-7b-hf ./models/llama-7b-hf
```
3. ```
python /root/LLaMA/text-generation-webui/server.py --model llama-7b-hf --listen
```
2. ```
conda activate llama_train
```
3. ```
cd /root/LLaMA/text-generation-webui
ln -s /root/LLaMA/stanford_alpaca/output/checkpoint-800 ./models/llama-7b-hf-800
```
4. ```
python /root/LLaMA/text-generation-webui/server.py --model llama-7b-hf-800 --listen
```

背景信息

操作步骤

准备工作

创建ECS实例

控制台方式

FastGPU方式

（可选）手动部署环境

启动训练

效果展示

查看WebUI推理效果

查看AIACC加速效果

了解更多AIGC实践和GPU优惠

反馈与建议