PW0N's Blog

分享更多的技术让志同道合的一起学习交流

0%

Windows、Mac、Linux本地部署deepseek教程

使用 Ollama 轻松部署 DeepSeek-R1 系列模型:Windows, Linux, macOS, Android 全平台指南

DeepSeek-R1 系列模型以其卓越的性能和开源特性,吸引了众多开发者的关注。Ollama 作为一个轻量级的模型运行平台,使得部署和使用这些模型变得异常简单。本文将详细介绍如何在 Windows, Linux, macOS 以及 Android 平台上使用 Ollama 部署 DeepSeek-R1 系列模型,包括 DeepSeek-R1-Distill-Qwen-1.5B, DeepSeek-R1-Distill-Qwen-7B, DeepSeek-R1-Distill-Llama-8B, DeepSeek-R1-Distill-Qwen-14B, DeepSeek-R1-Distill-Qwen-32B 和 DeepSeek-R1-Distill-Llama-70B。 针对低配置设备,我们也会重点介绍部署 DeepSeek-R1-Distill-Qwen-1.5B 模型。

为什么选择 Ollama?

  • 简单易用: Ollama 简化了模型下载、安装和运行的复杂过程。
  • 跨平台支持: Ollama 支持 Windows, Linux, macOS 和 Android 平台。
  • 轻量级: Ollama 资源占用低,即使在配置较低的设备上也能流畅运行。
  • 社区驱动: Ollama 拥有活跃的社区,提供丰富的模型和技术支持。

准备工作

在开始之前,请确保满足以下条件:

  • 硬件要求: 根据所选模型的规模,需要足够的内存和磁盘空间。DeepSeek-R1-Distill-Qwen-1.5B 模型对硬件要求较低,适合低配置设备。
  • Ollama 安装包: 从 Ollama 官网下载对应平台的安装包: https://ollama.com/

第一部分:Ollama 安装

1. Windows 平台

  • 下载 Windows 版本的 Ollama 安装包 (.exe 文件)。
  • 双击安装包,按照提示完成安装。
  • 安装完成后,在命令提示符或 PowerShell 中输入 ollama --version 验证安装是否成功。

2. Linux 平台

  • 根据您的 Linux 发行版,使用以下命令安装 Ollama:

    • Debian/Ubuntu:
      1
      curl -fsSL https://ollama.com/install.sh | sh
    • 其他 Linux 发行版: 访问 Ollama 官网获取详细的安装指南。
  • 安装完成后,在终端中输入 ollama --version 验证安装是否成功。

3. macOS 平台

  • 下载 macOS 版本的 Ollama 安装包 (.dmg 文件)。
  • 双击安装包,将 Ollama 拖拽到 “Applications” 文件夹。
  • 打开终端,输入 ollama --version 验证安装是否成功。

4. Android 平台 (通过 Termux)**

Android 上的 Ollama 安装稍微复杂一些,需要借助 Termux 这个终端模拟器。

  • 安装 Termux: 在 Google Play 商店搜索并安装 Termux。

  • 安装必要的软件包: 打开 Termux,运行以下命令:

    1
    2
    3
    pkg update
    pkg upgrade
    pkg install wget curl proot-distro
  • 安装 Ubuntu (或其他 Linux 发行版): 使用 proot-distro 安装一个 Linux 发行版,比如 Ubuntu:

    1
    proot-distro install ubuntu
  • 进入 Ubuntu 环境:

    1
    proot-distro login ubuntu
  • 在 Ubuntu 环境中安装 Ollama:

    1
    curl -fsSL https://ollama.com/install.sh | sh
  • 运行 Ollama: 在 Ubuntu 环境中,使用 ollama --version 验证安装。

第二部分:部署 DeepSeek-R1 模型

模型名称 硬件要求 (最低) 硬件要求 (推荐) 适用场景
DeepSeek-R1-Distill-Qwen-1.5B CPU (4核), 4GB 内存 CPU (4核), 8GB 内存 低资源设备,快速原型开发,教育学习,简单文本生成/问答
DeepSeek-R1-Distill-Qwen-7B GPU (RTX 3060), 16GB 显存, 16GB 内存 GPU (RTX 3060), 24GB 显存, 32GB 内存 中等配置设备,通用文本生成,代码生成,较复杂问答
DeepSeek-R1-Distill-Llama-8B GPU (RTX 3060), 16GB 显存, 16GB 内存 GPU (RTX 3060), 24GB 显存, 32GB 内存 对 Llama 架构有偏好,特定数据集微调,文本摘要/信息提取
DeepSeek-R1-Distill-Qwen-14B GPU (RTX 3090), 24GB 显存, 32GB 内存 GPU (RTX 3090), 48GB 显存, 64GB 内存 高性能设备,复杂创意写作,高级代码生成,多轮对话系统
DeepSeek-R1-Distill-Qwen-32B GPU (A100), 48GB 显存, 64GB 内存 GPU (A100), 80GB 显存, 128GB 内存 顶级硬件设备,高度逼真文本生成,复杂推理/逻辑,科研学术
DeepSeek-R1-Distill-Llama-70B 多个 GPU (A100), 80GB 显存 (每个 GPU), 128GB 内存 多个 GPU (A100), 80GB 显存 (每个 GPU), 256GB 内存 极致性能需求,超长文本生成/复杂推理,前沿研究

表格使用说明:

  • 模型名称: DeepSeek-R1 系列不同规模的模型名称。
  • 硬件要求 (最低): 运行模型所需的最低硬件配置。 如果低于这个配置,模型可能无法运行或性能严重下降。
  • 硬件要求 (推荐): 获得较好性能体验的推荐硬件配置。 在这个配置下,模型可以更流畅地运行,并获得更好的生成质量。
  • 适用场景: 模型最适合的应用场景。

Ollama 简化了模型的部署过程,只需要一个简单的命令即可完成。

1. Windows, Linux, macOS 平台

打开终端或命令提示符,运行以下命令下载并运行对应的 DeepSeek-R1 模型:

  • DeepSeek-R1-Distill-Qwen-1.5B (适合低配置设备):
    1
    ollama run deepseek-r1:1.5b
  • DeepSeek-R1-Distill-Qwen-7B:
    1
    ollama run deepseek-r1:7b
  • DeepSeek-R1-Distill-Llama-8B:
    1
    ollama run deepseek-r1:8b
  • DeepSeek-R1-Distill-Qwen-14B:
    1
    ollama run deepseek-r1:14b
  • DeepSeek-R1-Distill-Qwen-32B:
    1
    ollama run deepseek-r1:32b
  • DeepSeek-R1-Distill-Llama-70B:
    1
    ollama run deepseek-r1:70b

Ollama 会自动下载模型文件,并启动一个交互式会话。您可以直接在终端中与模型进行对话。

2. Android 平台 (Termux)**

在 Termux 中的 Ubuntu 环境下,运行与上述相同的命令即可:

  • DeepSeek-R1-Distill-Qwen-1.5B (适合低配置设备):
    1
    ollama run deepseek-r1:1.5b
  • DeepSeek-R1-Distill-Qwen-7B:
    1
    ollama run deepseek-r1:7b
  • DeepSeek-R1-Distill-Llama-8B:
    1
    ollama run deepseek-r1:8b
  • DeepSeek-R1-Distill-Qwen-14B:
    1
    ollama run deepseek-r1:14b
  • DeepSeek-R1-Distill-Qwen-32B:
    1
    ollama run deepseek-r1:32b
  • DeepSeek-R1-Distill-Llama-70B:
    1
    ollama run deepseek-r1:70b

第三部分:使用 DeepSeek-R1 模型

模型下载完成后,Ollama 会启动一个交互式会话。您可以直接在终端中与模型进行对话。

例如,运行 ollama run deepseek-r1:1.5b 后,您会看到类似以下的提示:

1
>>>

现在,您可以输入您的问题或指令,然后按 Enter 键发送给模型。 模型会生成相应的回复。

示例:

1
2
>>> 你好,你是谁?
我是DeepSeek-R1-Distill-Qwen-1.5B,一个由DeepSeek公司开发的大型语言模型。

使用提示:

  • 清晰明确的指令: 为了获得更好的结果,请使用清晰明确的指令。
  • 上下文信息: 在对话中提供足够的上下文信息,有助于模型理解您的意图。
  • 迭代优化: 根据模型的回复,不断调整您的指令,以获得更满意的结果。

第四部分:针对低配置设备的优化 (DeepSeek-R1-Distill-Qwen-1.5B)

如果您的设备配置较低,建议使用 deepseek-r1:1.5b 模型。 此外,还可以尝试以下优化措施:

  • 限制模型的内存使用: 可以通过 Ollama 的环境变量来限制模型的内存使用。 具体方法请参考 Ollama 的官方文档。
  • 关闭不必要的后台程序: 关闭不必要的后台程序,释放更多的系统资源给 Ollama。
  • 选择合适的量化版本: Ollama 支持不同量化版本的模型。选择较低的量化版本可以降低内存占用和提高运行速度,但可能会牺牲一定的精度。

第五部分:常见问题解答

  • 模型下载速度慢: 模型文件较大,下载速度可能较慢。请确保网络连接稳定,或者尝试使用代理。
  • Ollama 运行出错: 查看 Ollama 的日志文件,了解错误信息。 常见错误包括内存不足、端口冲突等。
  • 模型回复不准确: 大型语言模型可能会出现幻觉,生成不准确或不符合事实的回复。 请谨慎对待模型的回复,并进行验证。

总结

本文详细介绍了如何在 Windows, Linux, macOS 和 Android 平台上使用 Ollama 部署 DeepSeek-R1 系列模型。 无论您是开发者还是 AI 爱好者,都可以通过 Ollama 轻松体验 DeepSeek-R1 模型的强大功能。 针对低配置设备,DeepSeek-R1-Distill-Qwen-1.5B 模型是一个不错的选择。 希望本文能够帮助您顺利部署和使用 DeepSeek-R1 模型!

Link
Plus
Share
Class
Send
Send
Pin