DeepSeek-R1 本地部署

I. 前提条件

1.1 版本选择

特性	蒸馏版	完整版
参数量	参数量较少（如 1.5B、7B），性能接近完整版但略有下降	参数量较大（如 32B、70B），性能最强
硬件要求	显存和内存需求较低，适合低配硬件	显存和内存需求较高，需高端硬件支持
适用场景	适合轻量级任务和资源有限的设备	适合高精度任务和专业场景

1.2 环境要求

模型名称	参数量	大小	VRAM	Mac 推荐配置	Windows/Linux 推荐配置
deepseek-r1:1.5b	1.5B	1.1 GB	~2 GB	M2/M3 MacBook Air (8GB RAM+)	NVIDIA GTX 1650 4GB / AMD RX 5500 4GB (16GB RAM+)

II. 本地部署

2.1 安装 Ollama

根据自己的系统版本下载安装 Ollama（官网：https://ollama.com/ ）

参考👉 ollama/docs/linux.md at main · ollama/ollama

2.1.1 自动安装

1
curl -fsSL https://ollama.com/install.sh | sh

2.1.2 手动安装

📢 注意：
如果是从旧版本升级，应先用 sudo rm -rf /usr/lib/ollama 删除旧库。

2.1.2.1 下载软件包

1
2
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

2.1.2.2 添加为服务

参考👉 ollama/docs/faq.md at main · ollama/ollama

为 Ollama 创建用户和组：

1
2
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

📓 笔记：
若提示：DB version too old ... 可参考 RHEL8 Issues 解决。

为大模型创建存储路径：

1
2
mkdir -p /opt/llm/ollama/models
chown -R ollama: /opt/llm

💡 Tips：
请根据实际需求修改路径。

创建 Ollama 服务文件：

1
vim /etc/systemd/system/ollama.service

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
Environment="OLLAMA_DEBUG=1"
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_MODELS=/opt/llm/ollama/models"

[Install]
WantedBy=default.target

启动服务：

1
2
sudo systemctl daemon-reload
sudo systemctl enable ollama

2.1.3 AMD GPU 安装

如果您有 AMD GPU，也请下载并解压缩附加的 ROCm 软件包：

1
2
curl -L https://ollama.com/download/ollama-linux-amd64-rocm.tgz -o ollama-linux-amd64-rocm.tgz
sudo tar -C /usr -xzf ollama-linux-amd64-rocm.tgz

2.1.4 ARM64 安装

下载并解压 ARM64 专用软件包：

1
2
curl -L https://ollama.com/download/ollama-linux-arm64.tgz -o ollama-linux-arm64.tgz
sudo tar -C /usr -xzf ollama-linux-arm64.tgz

2.1.5 启动 Ollama

启动 Ollama 并确认其正在运行：

1
2
sudo systemctl start ollama
sudo systemctl status ollama

2.1.6 查看日志

要查看 Ollama 作为启动服务运行的日志，请运行：

1
journalctl -e -u ollama

2.2 卸载 Ollama

移除 ollama 服务：

1
2
3
sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

从 bin 目录（/usr/local/bin、/usr/bin 或 /bin）中删除 ollama 二进制文件：

1
sudo rm $(which ollama)

删除下载的模型和 Ollama 服务用户和组：

1
2
3
sudo rm -r /opt/llm/ollama/models
sudo userdel ollama
sudo groupdel ollama

删除已安装的库：

1
sudo rm -rf /usr/lib/ollama/

III. 安装 DeepSeek-R1

3.1 选择模型

打开 Ollama官网选择模型。

3.2 安装模型

选择合适的蒸馏量模型，复制命令进行安装：

1
ollama run deepseek-r1:1.5b

3.3 模型管理

3.3.1 查看已安装模型

1
ollama list

3.3.2 删除已安装的模型

1
ollama rm deepseek-r1:1.5b

IV. 可视化界面

4.1 Open WebUI

Open-WebUI是一款自托管 LLM Web 界面，提供 Web UI 与大模型交互，仅提供 Web UI，不提供 API，适用于个人使用 LLM以及本地运行大模型。

Open-WebUI 官方地址：https://github.com/open-webui/open-webui

Open-WebUI 官方文档地址：https://docs.openwebui.com/getting-started/

4.1.1 Docker Compose 配置

使用 Docker Compose 可简化多容器 Docker 应用程序的管理。

如果您没有安装 Docker，请查看 Docker 安装教程。

Docker Compose 需要一个额外的软件包 docker-compose-v2 。

⚠️ 警告：
较早的 Docker Compose 教程可能会引用版本 1 的语法，该语法使用 docker-compose build 这样的命令。请确保使用版本 2 的语法，它使用的是 docker compose build 这样的命令（注意空格而不是连字符）。

1
2
sudo mkdir -p /usr/local/docker/open-webui
sudo vim docker-compose.yml

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
version: '3'
services:
  openwebui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    # 完全禁用登录/注册页面并允许匿名访问
    environment:
      - WEBUI_AUTH=false        # 禁用认证
      - OLLAMA_BASE_URL=http://host.docker.internal:11434  # 根据你的模型后端调整    
    ports:
      - "3000:8080"
    extra_hosts:
      - "host.docker.internal:host-gateway"
    volumes:
      - open-webui:/app/backend/data
    restart: unless-stopped
volumes:
  open-webui:

⚠️ 警告：
公开访问存在安全风险，生产环境请谨慎使用。若要取消，删除 environment 部分即可。

4.1.2 启动服务

要启动服务，请运行以下命令：

1
docker compose up -d

4.1.3 访问 WebUI

1
http://ip:3000

💡 Tips:
访问页面空白？服务未启动完成，需要等待一段时间后重试。

4.2 Dify

Dify 是 LLM 应用开发平台，不完全是可视化界面，可以快速构建 LLM 应用（RAG、AI 代理等），提供 API，可用于应用集成，支持 MongoDB、PostgreSQL 存储 LLM 相关数据， AI SaaS、应用开发，需要构建智能客服、RAG 应用等，类似的工具也有 AnythingLLM 可根据用户偏好进行选择使用。

Dify 官方地址：https://github.com/langgenius/dify

Dify 官方文档地址：https://docs.dify.ai/zh-hans

4.2.1 前提条件

安装 Dify 之前, 请确保你的机器已满足最低安装要求：

CPU >= 2 Core
RAM >= 4 GiB

4.2.2 克隆 Dify 代码仓库

克隆 Dify 源代码至本地环境

1
git clone https://github.com/langgenius/dify.git

4.2.3 启动 Dify

1、进入 Dify 源代码的 Docker 目录

1
cd dify/docker

2、复制环境配置文件

1
cp .env.example .env

3、启动 Docker 容器

根据你系统上的 Docker Compose 版本，选择合适的命令来启动容器。你可以通过 $ docker compose version 命令检查版本，详细说明请参考 Docker 官方文档：

如果版本是 Docker Compose V2，使用以下命令：

1
docker compose up -d

4、检查是否所有容器都正常运行

1
docker compose ps

在这个输出中，你应该可以看到包括 3 个业务服务 api / worker / web，以及 6 个基础组件 weaviate / db / redis / nginx / ssrf_proxy / sandbox 。

4.2.4 更新 Dify

进入 dify 源代码的 docker 目录，按顺序执行以下命令：

1
2
3
4
5
cd dify/docker
docker compose down
git pull origin main
docker compose pull
docker compose up -d

⚠️ 同步环境变量配置 (重要！)
如果 .env.example 文件有更新，请务必同步修改你本地的 .env 文件。
检查 .env 文件中的所有配置项，确保它们与你的实际运行环境相匹配。你可能需要将 .env.example 中的新变量添加到 .env 文件中，并更新已更改的任何值。

4.2.5 访问 Dify

你可以先前往管理员初始化页面设置设置管理员账户：

1
2
3
4
5
# 本地环境
http://localhost/install

# 服务器环境
http://your_server_ip/install

Dify 主页面

1
2
3
4
5
# 本地环境
http://localhost

# 服务器环境
http://your_server_ip

4.2.6 自定义配置

编辑 .env 文件中的环境变量值。然后重新启动 Dify：

1
2
docker compose down
docker compose up -d

完整的环境变量集合可以在 docker/.env.example 中找到。

V. 集成部署(可选)

参考👉 Ollama and OpenWeb-UI Docker Compose : r/ollama

I. 前提条件#

1.1 版本选择#

1.2 环境要求#

II. 本地部署#

2.1 安装 Ollama#

2.1.1 自动安装#

2.1.2 手动安装#

2.1.2.1 下载软件包#

2.1.2.2 添加为服务#

2.1.3 AMD GPU 安装#

2.1.4 ARM64 安装#

2.1.5 启动 Ollama#

2.1.6 查看日志#

2.2 卸载 Ollama#

III. 安装 DeepSeek-R1#

3.1 选择模型#

3.2 安装模型#

3.3 模型管理#

3.3.1 查看已安装模型#

3.3.2 删除已安装的模型#

IV. 可视化界面#

4.1 Open WebUI#

4.1.1 Docker Compose 配置#

4.1.2 启动服务#

4.1.3 访问 WebUI#

4.2 Dify#

4.2.1 前提条件#

4.2.2 克隆 Dify 代码仓库#

4.2.3 启动 Dify#

4.2.4 更新 Dify#

4.2.5 访问 Dify#

4.2.6 自定义配置#

V. 集成部署(可选)#

VI. 参考文档#