FastChat/vicuna v1.1本地部署

可直接启动推理的权重文件整理后发出~自己的实践和后续微调的尝试也在github更新，感兴趣的老板可以点个star： GitHub - noobimp/vicuna_test

新版本v1.1

1.安装fastchat和transformers

pip install fschat
# Install the latest main branch of huggingface/transformers
pip install git+https://github.com/huggingface/transformers

2.下载LLaMA权重

该项目也是由Meta的LLaMA 7B微调而来，因此需要下载LLaMA权重：可以从这里申请并下载 LLaMA ，也可以：

pip install pyllama -U