显存是硬门槛

把模型跑在你自己租的卡上

按用途和模型规模选卡,避免为用不上的算力多花钱。下面列出常见任务的推荐型号与起步价。

按你的任务选卡

你的任务推荐型号显存起步价说明
预算入门 / 学习测试RTX 2080Ti / 306024GB+$79.0/月起最低成本跑通流程
入门推理 / 渲染RTX 3080 / 309032GB+$89.0/月起上一代主力,够用
SD 绘图 / 轻量微调RTX 409024G$179.0/月起性价比首选
消费级高性能RTX 4080 / 509016G~32G询价新一代消费卡
大模型微调 / 中等训练A10040G$299.0/月起生态兼容性最强
大模型训练 / 长上下文A800 NVLink80G$699.0/月起企业级,NVLink 互联
国产替代Huawei Ascend 910B64G询价国产卡,政策好

更多可代采型号(需询价):

GPU 型号显存说明
RTX 3060 12G12 GB入门推理 / 绘图
RTX 4080S 16G16 GB消费级高性能
A100 64G64 GB训练 / 推理
A800 40G40 GB训练 / 推理
Huawei Ascend 910B64 GB国产替代

模型显存门槛参考

常见开源模型半精度下的最低显存需求,以及能跑它的最便宜的卡。

模型权重大小最低显存推荐卡
Llama 3.1 8B(FP16)~16 GB20 GBRTX 3090 / 4090 24G
Qwen 14B(FP16)~28 GB32 GBA100 40G
Llama 3.1 70B(4bit)~40 GB48 GBA100 40G or A800 80G
DeepSeek-R1 (distilled 7B)~16 GB20 GBRTX 4090 24G
Qwen 72B(4bit)~42 GB48 GBA800 80G
Llama 3.1 405B (multi-GPU)~810 GB需多卡8×A800 80G NVLink

显存需求为半精度/量化估算,实际以模型发布页为准。拿不准配置,把需求发我们,免费出选型方案。

💬
GPUNova AI Assistant