|
|
VICUNA
单个GPU就能跑！UC伯克利领头，130亿参数「小羊驼」权重公布
编辑：好困 【新智元导读】刚刚，UC伯克利、CMU、斯坦福等，联手发布了最新开源模型骆马（Vicuna）的权重。 3月31日，UC伯克利联手CMU、斯坦福、UCSD和MBZUAI，推出了130亿参数的Vicuna，俗称「小羊驼」（骆马），仅需300美元就能实现ChatGPT 90%的性能。 今天，团队正式发布了Vicuna的权重——只需单个GPU就能跑！ [图片] 项目地址： https://github.com/lm-sys/FastChat/#fine-tuning 130亿参数，90%匹敌ChatGPT Vicuna是通过在ShareGPT收集的用户共享对话上对LL…
LLM之Vicuna初识：简单调用部署
一、Vicuna介绍版本：Vicuna-13B和Vicuna-7B,所需内存：单个GPU Vicuna-7B：14GB Vicuna-13B：28GB训练数据：ShareGPT（目前已禁止爬取）收集的用户70K共享对话进行微调基础模型：LLaMA效果：Vicuna-13B在OpenAI ChatGPT和Google Bard的质量方面达到了90%以上花费：训练耗费300美元模型架构： [图片] 二、 环境搭建建议新建虚拟环境，不会对其他生产环境产生影响 2.1 构建虚拟环境conda create --name vicuna python=3.10 conda activate…
在单块16G的推理卡上微调复现vicuna-7b
gitclone.com程序员小五哥
1、概述对FaceBook/LLaMA的微调一般有两种方案，一种是斯坦福的alpaca系列，一种是基于shareGPT语料的Vicuna方向。Vicuna采用的是多轮对话的语料，训练效果要好于默认为单轮对话的alpaca，所以要在Llama基础上微调，建议首选Vicuna的方式。关于Vicuna的效果，可以在 https://gitclone.com/aiit/chat/ ，在中文处理方面效果还是不错的。关于两种微调方式，在以下项目中都有详细描述（FastChat中对lora模式的说明比较简单）。 …
从无到有，如何拥有属于自己的chatgpt，用vicuna 13B模拟gpt3.5
AI只是大幅提高了效率
前言：继4月份搭了一个vicuna7B后（见 手搓具有GPT-4 90%能力的开源大语言模型FastChat - 知乎 (zhihu.com) ），因为token生成速度实在是太慢，实在是不满意，乘618电脑配件打折，赶紧配好电脑，把vicuna 13B搭起来，为了方便使用，让vicuna 13B模拟gpt-3.5-turbo，并在python中用OpenAI官方包跑通程序，这样做最大的好处是既可以大量复用现有chatgpt的代码，又不会有数据泄露风险，特别是像使用langchain做内部文档处理的这种场…
Chinese Vicuna 部署
业余写写小游戏锻炼一下自己的逻辑
首先需要拉取git GitHub - Facico/Chinese-Vicuna: Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案，结构参考alpaca git clone https://github.com/Facico/Chinese-Vicuna 然后进入文件夹中 安装python 3.8（3.10我一直失败） 然后安装requirements pip install -r requirements -i http://mirrors.aliyun.com/pypi/simple peft 如果安装失败就 pip install peft==3.0.0 然后启动 sh script/generate.sh 注意…
Chinese-Vicuna中的对话数据处理方式
好累啊，不想学了。
最近尝试着使用alpaca-lora 微调出来一个能唠嗑的模型；这里面做一些记录。 这篇关于：如何处理对话数据用于训练一个对话模型。Chinese-Vicuna中的对话数据处理方式我们看到的微调，比如说 standard_alpaca ，或者alpaca-lora ，这些都是单轮的对话，也就是说，我问一个问题，微调后的模型回答一个问题。就完事了。这与唠嗑相差甚大，唠嗑是有上下文的关系的，如果模型在训练的时候只是给单轮对话的信息的话，就不是很适合唠嗑的场…
如何部署本地版“ChatGPT”提高研究效率——2023-04-19
芝士宏观：030.uk/m 蘑菇量化：030.uk/q
金融工程研究：如何部署本地版“ChatGPT”提高研究效率-230417-中信建投本文介绍了如何使用ChatGPT和API接口以及本地部署开源大预言模型Vicuna来提高金融工程研究的效率。ChatGPT的API和插件系统的开放使得其应用空间充满无尽的可能性，而API接口能够使研究工作效率极大提高。本文以python库为例介绍了如何使用OPENAI的API接口，并以Vicuna模型为例介绍了如何在个人电脑上部署模型。 [图片] 金工专题研究：当下中国创新药产业投资价值…
HFValidationError: Repo id must be in the form 'repo_name' or 'namespace/repo_name': '/model/vicuna
问题：合并vicuna模型参数python -m fastchat.model.apply_delta --base /model/llama-7b-hf/ --delta /model/vicuna-7b-delta-v1.1/ --target /model/vicuna-7b-all-v1.1/ 时报错HFValidationError: Repo id must be in the form 'repo_name' or 'namespace/repo_name': '/model/vicuna-7b-delta-v1.1/'. Use `repo_type` argument if needed. 解决：报错是因为找不到模型路径，尝试修改为相对路径python -m fastchat.model.app…
单机 LLM 测试之 ChatGLM-6B/LLaMA-7B/Vicuna-7B
科技|编程|生活|随笔，公众号『键隙随想』
自去年OpenAI发布ChatGPT3.5以来，LLM 大语言模型如雨后春笋般涌现。大模型推理成本是昂贵的，且很多敏感的数据出于安全问题也不好提供给ChatGPT，因此开发能够单机部署的LLM的需求应运而生。 本文简单测试常见的几个单机大模型ChatGLM-6B/LLaMA-7B/Vicuna-7B，在6大能力（包含中英提问）：语言理解、任务完成、常识问题、逻辑数学、代码能力、专业领域中的表现。由于时间/精力/硬件有限，只是简单测试少量问题，结果只作为参考…
Vicuna：斯坦福开源一个性能相当于90%ChatGPT的聊天机器人
github.com/wshzd/Awesome-AIGC
自从Meta公司发布LLaMA以来，围绕它微调和开发的模型越来越多，这得益于它的性能和效果，2023年3月份发布的草泥马（Alpaca）是由Meta的LLaMA 7B微调而来的全新模型，仅用了52k数据，性能约等于GPT-3.5。 斯坦福发布了一个由LLaMA 7B微调的模型Alpaca（羊驼），训练3小时，性能比肩GPT-3.5 最近，UC伯克利学者联手CMU、斯坦福等，再次推出一个全新模型——130亿参数的Vicuna，俗称「小羊驼」（骆马）。 [图片] [图片] 代码： https://github.com/lm-sys/FastChat …