相关文章推荐
俊秀的冲锋衣  ·  MySql的动态语句foreach各种用法比 ...·  2 年前    · 
才高八斗的豆浆  ·  python读取数据怎么设置第二行为列明_m ...·  2 年前    · 
玉树临风的硬币  ·  bouncycastle - Error ...·  2 年前    · 
寂寞的自行车  ·  SQL自学指南(12):SQL子查询 - 知乎·  2 年前    · 
高大的猕猴桃  ·  vbs输入框字符串赋值给变量-掘金·  2 年前    · 
Code  ›  在ModelScope中,多卡推理如何实现呢?_问答-阿里云开发者社区
科技新闻 云计算 阿里 推理
https://developer.aliyun.com/ask/554902
谦和的番茄
1 年前
产品 文档与社区 权益中心 定价 云市场 合作伙伴 支持与服务 了解阿里云
AI 助理
备案 控制台
开发者社区 ModelScope模型即服务
首页 计算机视觉 自然语言处理 语音 多模态 科学计算 魔搭社区官网
探索云世界
新手上云 云上应用构建 云上数据管理 云上探索人工智能
云计算 弹性计算 无影 存储 网络 倚天
云原生 容器 serverless 中间件 微服务 可观测 消息队列
数据库 关系型数据库 NoSQL数据库 数据仓库 数据管理工具 PolarDB开源 向量数据库

热门

百炼大模型 Modelscope模型即服务 弹性计算 云原生 数据库 云效DevOps 龙蜥操作系统 平头哥 钉钉开放平台 物联网
大数据 大数据计算 实时数仓Hologres 实时计算Flink E-MapReduce DataWorks Elasticsearch 机器学习平台PAI 智能搜索推荐 数据可视化DataV
人工智能 机器学习平台PAI 视觉智能开放平台 智能语音交互 自然语言处理 多模态模型 pythonsdk 通用模型
开发与运维 云效DevOps 钉钉宜搭 支持服务 镜像站 码上公益

有些模型目前还不支持多卡推理。这里有多卡推理的例子,您参考一下。 https://github.com/modelscope/swift/blob/main/examples/pytorch/llm/scripts/llama2_70b_chat/qlora/infer.sh 此回答来自“魔搭ModelScope开发者联盟群 ①”

2023-09-19 23:20:18
 
推荐文章
俊秀的冲锋衣  ·  MySql的动态语句foreach各种用法比较_51CTO博客_mysql if else语句
2 年前
才高八斗的豆浆  ·  python读取数据怎么设置第二行为列明_mob64ca12d42833的技术博客_51CTO博客
2 年前
玉树临风的硬币  ·  bouncycastle - Error creating Asn1Object from ByteArray (extra data found after object) - Stack Overflow
2 年前
寂寞的自行车  ·  SQL自学指南(12):SQL子查询 - 知乎
2 年前
高大的猕猴桃  ·  vbs输入框字符串赋值给变量-掘金
2 年前
今天看啥   ·   Py中国   ·   codingpro   ·   小百科   ·   link之家   ·   卧龙AI搜索
删除内容请联系邮箱 2879853325@qq.com
Code - 代码工具平台
© 2024 ~ 沪ICP备11025650号