FastChat——一个用于训练、部署和评估基于大型语言模型的聊天机器人的开放平台

python3 -m fastchat.serve.gradio_web_server_multi

API

兼容OpenAI的RESTful API和SDK

FastChat为其支持的模型提供了兼容OpenAI的API，因此您可以将FastChat作为OpenAI API的本地替代品使用。 FastChat服务器与openai-python[33]库和cURL命令兼容。 请参阅docs/openai_api.md[34]。

Hugging Face 生成 API

请参阅 fastchat/serve/huggingface_api.py。

LangChain 集成

请参阅 docs/langchain_integration[35]。

评估

我们的AI增强评估流程基于GPT-4。本部分提供了流程的高级概述。详细的说明，请参阅 evaluation[36] 文档。

流程步骤

1.从不同的模型生成回答：使用 qa_baseline_gpt35.py 获取ChatGPT的回答，或者指定模型检查点并运行 get_model_answer.py 获取 Vicuna 和其他模型的回答。2.使用 GPT-4 生成评论：使用 GPT-4 自动生成评论。如果您无法使用 GPT-4 API，则可以手动执行此步骤。3.生成可视化数据：运行 generate_webpage_data_from_table.py 生成静态网站的数据，以便您可以可视化评估数据。4.可视化数据：在 webpage 目录下提供一个静态网站。您可以使用 python3 -m http.server 在本地提供网站服务。

数据格式和贡献

我们在评估中使用了一种使用 JSON Lines 编码的数据格式。该格式包括有关模型、提示、评论者、问题、回答和评论的信息。

您可以通过访问相关的 数据[37] 来自定义评估过程或为我们的项目做出贡献。

有关详细说明，请参阅 evaluation[38] 文档。

微调

数据

Vicuna 是通过使用从 ShareGPT.com 上收集的约 7 万个用户共享对话使用 LLaMA 基础模型进行微调而创建的，使用了公共的 API。为了确保数据质量，我们将 HTML 转换回 Markdown，并过滤掉一些不适当或低质量的样本。此外，我们将较长的对话分割成适合模型最大上下文长度的较小段落。有关清理 ShareGPT 数据的详细说明，请查看此处[39]。

由于一些考虑，我们目前可能不会发布 ShareGPT 数据集。如果您想尝试微调代码，您可以使用 dummy_conversation.json[40] 中的一些虚拟对话来运行它。您可以按照相同的格式插入自己的数据。

代码和超参数

我们的代码基于Stanford Alpaca[41]，并增加了对多轮对话的支持。 我们使用与 Stanford Alpaca 类似的超参数。

使用本地 GPU 对 Vicuna-7B 进行微调

您可以使用以下命令使用 4 个 A100 (40GB) 对 Vicuna-7B 进行训练。

代码语言： javascript

复制

torchrun --nproc_per_node=4 --master_port=20001 fastchat/train/train_mem.py \
    --model_name_or_path ~/model_weights/llama-7b  \
    --data_path data/dummy_conversation.json \
    --bf16 True \
    --output_dir output_vicuna \
    --num_train_epochs 3 \
    --per_device_train_batch_size 2 \
    --per_device_eval_batch_size 2 \
    --gradient_accumulation_steps 16 \
    --evaluation_strategy "no" \
    --save_strategy "steps" \
    --save_steps 1200 \
    --save_total_limit 10 \
    --learning_rate 2e-5 \
    --weight_decay 0. \
    --warmup_ratio 0.03 \
    --lr_scheduler_type "cosine" \
    --logging_steps 1 \
    --fsdp "full_shard auto_wrap" \
    --fsdp_transformer_layer_cls_to_wrap 'LlamaDecoderLayer' \
    --tf32 True \
    --model_max_length 2048 \
    --gradient_checkpointing True \
    --lazy_preprocess True

如果在模型保存过程中遇到内存不足的问题，请参考这里[42]的解决方案。

使用本地 GPU 对 FastChat-T5 进行微调

您可以使用以下命令使用 4 个 A100 (40GB) 对 FastChat-T5 进行训练。

代码语言： javascript

复制

torchrun --nproc_per_node=4 --master_port=9778 fastchat/train/train_flant5.py \
    --model_name_or_path google/flan-t5-xl \
    --data_path /data/dummy.json \
    --bf16 True \
    --output_dir ./checkpoints_flant5_3b \
    --num_train_epochs 3 \
    --per_device_train_batch_size 1 \
    --per_device_eval_batch_size 1 \
    --gradient_accumulation_steps 4 \
    --evaluation_strategy "no" \
    --save_strategy "steps" \
    --save_steps 300 \
    --save_total_limit 1 \
    --learning_rate 2e-5 \
    --weight_decay 0. \
    --warmup_ratio 0.03 \
    --lr_scheduler_type "cosine" \
    --logging_steps 1 \
    --fsdp "full_shard auto_wrap" \
    --fsdp_transformer_layer_cls_to_wrap T5Block \
    --tf32 True \
    --model_max_length 2048 \
    --preprocessed_path ./preprocessed_data/processed.json \
    --gradient_checkpointing True 

您可以使用以下命令使用 QLoRA 和 ZeRO2 对 Vicuna-7B 进行微调。请注意，目前 QLoRA 不支持 ZeRO3，但 ZeRO3 支持 LoRA，其参考配置在 playground/deepspeed_config_s3.json 中。

代码语言： javascript

复制

deepspeed train_lora.py \
    --model_name_or_path ~/model_weights/llama-7b  \
    --lora_r 8 \
    --lora_alpha 16 \
    --lora_dropout 0.05 \
    --data_path <path-to-data> \
    --bf16 True \
    --output_dir ./checkpoints \
    --num_train_epochs 3 \
    --per_device_train_batch_size 4 \
    --per_device_eval_batch_size 4 \
    --gradient_accumulation_steps 1 \
    --evaluation_strategy "no" \
    --save_strategy "steps" \
    --save_steps 1200 \
    --save_total_limit 100 \
    --learning_rate 2e-5 \
    --weight_decay 0. \
    --warmup_ratio 0.03 \
    --lr_scheduler_type "cosine" \
    --logging_steps 1 \
    --tf32 True \
    --model_max_length 2048 \
    --q_lora True \
    --deepspeed playground/deepspeed_config_s2.json \

在训练完成后，请使用我们的后处理函数（链接[43]）更新保存的模型权重。更多讨论可以在这里[44]找到。

在任何云平台上使用 SkyPilot 进行微调

Skypilot[45] 是由加州大学伯克利分校开发的一个框架，用于在任何云平台（AWS、GCP、Azure、Lambda 等）上轻松且高效地运行机器学习工作负载。 在这里[46]找到使用托管的抢占式实例进行 Vicuna 微调并节省云成本的 SkyPilot 文档。

引用

本仓库中的代码（训练、服务和评估）大部分是为以下论文开发或衍生出来的，请在引用时进行引用。

代码语言： javascript

复制

@misc{zheng2023judging,
      title={Judging LLM-as-a-judge with MT-Bench and Chatbot Arena},
      author={Lianmin Zheng and Wei-Lin Chiang and Ying Sheng and Siyuan Zhuang and Zhanghao Wu and Yonghao Zhuang and Zi Lin and Zhuohan Li and Dacheng Li and Eric. P Xing and Hao Zhang and Joseph E. Gonzalez and Ion Stoica},
      year={2023},
      eprint={2306.05685},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

我们还计划将更多研究添加到本仓库中。

声明

本文翻译整理自：GitHub - lm-sys/FastChat: An open platform for training, serving, and evaluating large language models. Release repo for Vicuna and FastChat-T5.[47]

FastChat是一个目前拥有23.7k star的项目，本文内容后续也会持续更新，喜欢的同学请点赞收藏。

References

[1] 演示 : https://chat.lmsys.org/ [2] Arena : https://arena.lmsys.org [3] Discord : https://discord.gg/HSWAKCrnFx [4] Twitter : https://twitter.com/lmsysorg [5] 文章: https://lmsys.org/blog/2023-05-03-arena [6] 演示: https://arena.lmsys.org [7] 权重: #fastchat-t5 [8] 演示: https://chat.lmsys.org [9] 文章: https://vicuna.lmsys.org [10] 演示: https://chat.lmsys.org [11] 安装: #安装 [12] 模型权重: #模型权重 [13] 使用命令行界面进行推理: #使用命令行界面进行推理 [14] 使用Web界面进行服务: #使用Web界面进行服务 [15] API: #API [16] 评估: #评估 [17] 微调: #微调 [18] 引用: #引用 [19] Vicuna: https://lmsys.org/blog/2023-03-30-vicuna/ [20] 模型许可证: https://github.com/facebookresearch/llama/blob/main/MODEL_CARD.md [21] lmsys/vicuna-7b-v1.3: https://huggingface.co/lmsys/vicuna-7b-v1.3 [22] lmsys/vicuna-13b-v1.3: https://huggingface.co/lmsys/vicuna-13b-v1.3 [23] lmsys/vicuna-33b-v1.3: https://huggingface.co/lmsys/vicuna-33b-v1.3 [24] docs/vicuna_weights_version.md: https://github.com/lm-sys/FastChat/blob/main/docs/vicuna_weights_version.md [25] repo: https://huggingface.co/lmsys/fastchat-t5-3b-v1.0 [26] 此处: https://github.com/lm-sys/FastChat/blob/main/docs/model_support.md [27] Intel Extension for PyTorch: https://intel.github.io/intel-extension-for-pytorch/xpu/latest/tutorials/installation.html [28] GPTQ-for-LLaMa: https://github.com/qwopqwop200/GPTQ-for-LLaMa [29] docs/gptq.md: https://github.com/lm-sys/FastChat/blob/main/docs/gptq.md [30] MLC LLM: https://mlc.ai/mlc-llm/ [31] TVM Unity: https://github.com/apache/tvm/tree/unity [32] 此处: https://github.com/lm-sys/FastChat/blob/main/docs/server_arch.md [33] openai-python: https://github.com/openai/openai-python [34] docs/openai_api.md: https://github.com/lm-sys/FastChat/blob/main/docs/openai_api.md [35] docs/langchain_integration: https://github.com/lm-sys/FastChat/blob/main/docs/langchain_integration.md [36] evaluation: fastchat/eval [37] 数据: fastchat/eval/table/ [38] evaluation: fastchat/eval [39] 此处: https://github.com/lm-sys/FastChat/blob/main/docs/commands/data_cleaning.md [40] dummy_conversation.json: data/dummy_conversation.json [41] Stanford Alpaca: https://github.com/tatsu-lab/stanford_alpaca