在本地电脑部署DeepSeek,下载各个模型的时候,会看到比如 DeepSeek-R1(推理模型)、DeepSeek-Coder(代码模型)、DeepSeek-V3(通用模型) 等模型,又分为1.5b、6.7b、7b、8b、14b、32b、33b、70b和671b等版本型号。这些型号是什么意思?有什么特殊含义?本地部署时,这些型号分别对电脑硬件配置有什么要求?
下面来一一讲解,并且用表格的形式,把各个模型对电脑硬件的最低要求列出来。
一、DeepSeek模型名称中的数字含义(例如 1.5b、7b、8b、14b、32b、70b和671b 等)
这些数字代表模型的参数量(Parameters),单位为 「B」(Billion,十亿)。例如:
- 1.5B:15 亿参数
- 7B:70 亿参数
- 671B:6710 亿参数(接近万亿规模)
参数量的意义:
- 模型能力:参数量越大,模型就有更强的理解和生成能力,但是需要更多计算资源。
- 硬件需求:参数越多,对内存(RAM)和显存(VRAM)的需求就越高。
- 运行速度:参数量大的模型,推理速度更慢,尤其是资源不足的时候。
可见,在本地电脑部署DeepSeek,一定要根据硬件配置来选择合适的模型版本。
二、本地部署DeepSeek的硬件配置「最低」要求(按模型规模分类)
需要说明的是,没有显卡、显存的低配置电脑,也是可以部署本地 DeepSeek 的,也可以正常运行,只是需要 14B 及以下的模型就可以了。
以下是最低配置参考信息,当然仅限推理使用,不包含训练模型:
1.3B、1.5B 模型
- 适用场景:简单文本生成、问答、轻量级任务
- CPU:4 核以上(需支持 AVX2 指令集)
- 内存(RAM):8GB 以上
- GPU(可选):显存 ≥ 4GB(如 NVIDIA GTX 1650)
- 存储:需 3~5GB 硬盘空间(模型文件 + 依赖库)
- 说明:可在纯 CPU 环境下运行,但速度较慢(约 1~2 秒/词)。
6.7b、7B、8B 模型
- 适用场景:复杂文本生成、代码生成、多轮对话
- CPU:8 核以上(推荐 Intel i7 或 AMD Ryzen 7)
- 内存(RAM):32GB 以上(纯 CPU 运行时需更高内存)
- GPU(推荐):显存 ≥ 16GB(如 RTX 4090 或 Tesla T4)
- 存储:需 15~20GB 硬盘空间
- 优化建议:
- 使用 4-bit 量化可将显存需求降至 8GB。
- 使用
vLLM
或HuggingFace TGI
框架提升推理速度。
14B 模型
- 适用场景:专业领域问答、长文本生成
- CPU:不推荐纯 CPU 运行(速度极慢)
- 内存(RAM):≥ 64GB(若需 CPU 回退)
- GPU:显存 ≥ 24GB(如 RTX 3090 x2 或 A5000)
- 存储:需 30~40GB 硬盘空间
- 注意事项:需通过模型并行(Model Parallelism)拆分到多张 GPU。
32B、70B 模型
- 适用场景:企业级应用、高精度需求
- CPU:无法纯 CPU 运行
- 内存(RAM):≥ 128GB(用于加载中间数据)
- GPU:显存 ≥ 80GB(如 A100 80GB x2 或 H100)
- 存储:需 70~150GB 硬盘空间
- 关键点:
- 必须使用多卡并行(如 NVIDIA NVLink 互联)。
- 推荐 FP16 或 8-bit 量化以降低显存占用。
236B、671B 模型
- 适用场景:超大规模研究、云计算服务
- 本地部署可行性:不推荐个人用户尝试
- 企业级方案:
- GPU 集群(如 8x H100 或 A100)
- 显存需求:≥ 640GB(分布式推理)
- 存储:≥ 1TB(模型 + 缓存)
- 网络:InfiniBand 或高速 RDMA 互联
三、对新手本地部署DeepSeek的建议
- 从轻量级开始:应该优先尝试 1.5B 或 7B 模型,熟悉部署流程。
- 量化技术:使用
bitsandbytes
或GPTQ
等工具压缩模型,降低显存需求。 - 云服务备用方案:大模型(如 70B)可考虑按需租用云 GPU(如 AWS、RunPod)。
- 工具推荐:
- 推理框架:
llama.cpp
(CPU 友好)、vLLM
(GPU 优化) - 量化工具:
AutoGPTQ
、ExLlama
- 推理框架:
- 本地部署DeepSeek教程:
✏️说明:以上信息虽然看似复杂,实际上本地部署操作非常简单。在以上教程中使用的就是「傻瓜式」工具,进行的是「傻瓜式」部署。
四、硬件选择对比表
模型规模 | 最低 GPU 显存 | 推荐 GPU 型号 | 纯 CPU 内存需求 | 适用场景 |
---|---|---|---|---|
1.5B | 4GB | RTX 3050 | 8GB | 个人学习 |
7B | 16GB | RTX 4090 | 32GB | 小型项目 |
14B | 24GB | A5000 x2 | 64GB | 专业应用 |
32B | 48GB | A100 40GB x2 | 128GB | 企业级服务 |
70B | 80GB | A100 80GB x4 | 256GB | 高性能计算 |
671B | 640GB+ | H100 集群 | 不可行 | 超算/云计算 |
以我的体验,上面表格中的数据仅供参考。比如,无显卡、无显存的低配笔记本电脑,也可以运行7B模型。我的笔记本电脑的具体配置,在上文提到的图文教程中有列出。
五、常见问题解答
Q1:能否用 Mac 电脑运行这些DeepSeek模型?
- 可以,但仅限于小模型(如 7B以下)。需使用
llama.cpp
的 Metal 后端,M1/M2 芯片需 16GB 以上统一内存。
Q2:模型文件从哪里下载?
- 官方仓库(如 HuggingFace Hub)、开源社区(如 modelscope)。
- 如果使用Ollama在本地部署,那么直接在Ollama中下载,详见《图文教程丨DeepSeek V3、R1本地部署实战,面向新手的专业攻略丨AI 指南》https://aizhinan.cc/204 。
Q3:为什么实际显存占用比参数量大很多?
- 除了模型权重,还需存储中间计算结果(KV Cache),尤其在长文本生成时占用显著增加。
Q3:没有显存、显存的笔记本电脑,能在本地部署和运行DeepSeek吗?
- 可以。上面提到的教程就是使用这样的低配置老笔记本电脑演示的,另外,也可参考《本地电脑安装部署DeepSeek最低配置要求丨GPU方案、CPU方案丨AI 指南》 https://aizhinan.cc/188 一文。
更多相关文章:
《专题丨DeepSeek使用教程》https://aizhinan.cc/tag/deepseek-tutorial
《专题丨人工智能技术和应用案例教程》https://aizhinan.cc/ai-tutorial
《专题丨AI人工智能领域最新前沿资讯、未来发展趋势展望》https://aizhinan.cc/ai-news
禁止转载丨原文链接:https://aizhinan.cc/217