Ubuntu24.04-DeepSeek-R1-GGUF(UD-IQ2_XXS)部署学习
Ubuntu 24.04 LTS 服务器配置手册
硬件环境
使用浪潮NF5468 G7服务器，配置如下：
- CPU: EYPC 9654 * 2
- 内存: 32 * 24 RAM
- GPU: 8 * NVIDIA L20 48G
- 存储: 480G 2 + 3.84T 6
1. 系统环境配置
1.1 系统信息
.-/+oossssoo+/-. root@NF5468
`:+ssssssssssssssssss+:` -----------
-+ssssssssssssssssssyyssss+- OS: Ubuntu 24.04.1 LTS x86_64
.ossssssssssssssssssdMMMNysssso. Host: NF5468-A7-A0-R0-00 0
/ssssssssssshdmmNNmmyNMMMMhssssss/ Kernel: 6.8.0-41-generic
+ssssssssshmydMMMMMMMNddddyssssssss+ Uptime: 1 day, 12 hours, 56 mins
/sssssssshNMMMyhhyyyyhmNMMMNhssssssss/ Packages: 1932 (dpkg), 11 (snap)
.ssssssssdMMMNhsssssssssshNMMMdssssssss. Shell: bash 5.2.21
+sssshhhyNMMNyssssssssssssyNMMMysssssss+ Theme: Adwaita [GTK3]
ossyNMMMNyMMhsssssssssssssshmmmhssssssso Icons: Adwaita [GTK3]
ossyNMMMNyMMhsssssssssssssshmmmhssssssso Terminal: /dev/pts/0
+sssshhhyNMMNyssssssssssssyNMMMysssssss+ CPU: AMD EPYC 9654 (384) @ 2.400GHz
.ssssssssdMMMNhsssssssssshNMMMdssssssss. Memory: 7748MiB / 773531MiB 1.2 更换软件源
# 备份原有源配置
sudo cp /etc/apt/sources.list.d/ubuntu.sources /etc/apt/sources.list.d/ubuntu.sources.bak
# 更换为中科大镜像源
sudo sed -i 's@//.*archive.ubuntu.com@//mirrors.ustc.edu.cn@g' /etc/apt/sources.list.d/ubuntu.sources
# 更新系统
sudo apt-get update
sudo apt-get -y upgrade1.3 配置SSH远程访问
# 安装SSH服务器
sudo apt-get update
sudo apt-get install openssh-server
# 启用SSH服务
sudo systemctl enable ssh
sudo systemctl restart ssh
# 关闭防火墙
sudo systemctl disable ufw
sudo systemctl stop ufw
# 配置SSH服务
sudo nano /etc/ssh/sshd_config添加以下配置：
# 允许root登录
PermitRootLogin yes
# 允许密码认证
PasswordAuthentication yes
# 启用密钥认证
PubkeyAuthentication yes完成配置：
# 设置root密码
sudo passwd root
# 重启SSH服务
sudo systemctl restart ssh1.4 安装NoMachine远程桌面
# 下载并安装NoMachine
wget https://downloads.nomachine.com/linux/?id=1
sudo dpkg -i nomachine_8.16.1_1_amd64.deb
# 配置服务
sudo systemctl enable nxserver
sudo systemctl start nxserver
# 检查服务状态
sudo systemctl status nxserver2. CUDA环境配置
2.1 安装CUDA驱动
# 下载CUDA仓库配置
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-ubuntu2404.pin
sudo mv cuda-ubuntu2404.pin /etc/apt/preferences.d/cuda-repository-pin-600
# 下载并安装CUDA
wget https://developer.download.nvidia.com/compute/cuda/12.8.0/local_installers/cuda-repo-ubuntu2404-12-8-local_12.8.0-570.86.10-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu2404-12-8-local_12.8.0-570.86.10-1_amd64.deb
sudo cp /var/cuda-repo-ubuntu2404-12-8-local/cuda-*-keyring.gpg /usr/share/keyrings/
# 安装CUDA工具包和驱动
sudo apt-get update
sudo apt-get -y install cuda-toolkit-12-8
sudo apt-get install -y cuda-drivers2.2 配置CUDA环境变量
echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc3. 存储配置
3.1 配置数据盘
# 查看磁盘信息
sudo fdisk -l /dev/sdb
# 使用parted创建分区
sudo parted /dev/sdb
# 在parted中执行：
mklabel gpt
mkpart primary xfs 0% 9.1TB
print
quit
# 格式化分区
sudo mkfs.xfs -f /dev/sdb1
# 创建挂载点
sudo mkdir -p /data
# 配置自动挂载
sudo blkid /dev/sdb1 # 获取UUID
echo "UUID=<获取到的UUID> /data xfs defaults 0 2" | sudo tee -a /etc/fstab
# 挂载文件系统
sudo mount -a
sudo systemctl daemon-reload4. AI开发环境配置
4.1 安装llama.cpp
# 安装依赖
cd /data
sudo apt-get update
sudo apt-get install build-essential cmake curl libcurl4-openssl-dev git -y
# 克隆代码
git clone https://ghproxy.net/https://github.com/ggerganov/llama.cpp.git
# 编译配置
cmake llama.cpp -B llama.cpp/build \
-DBUILD_SHARED_LIBS=OFF \
-DGGML_CUDA=ON \
-DLLAMA_CURL=ON \
-DCMAKE_CUDA_COMPILER=/usr/local/cuda/bin/nvcc
# 编译
cmake --build llama.cpp/build \
--config Release \
-j \
--clean-first \
--target llama-quantize llama-cli llama-gguf-split
# 安装
sudo cp llama.cpp/build/bin/llama-* /usr/local/bin/4.2 配置Ollama
# 创建目录
mkdir -p /data/models/ollama/deepseek
cd /data/models/ollama/deepseek
# 配置环境变量
echo '# Ollama configurations
export OLLAMA_MODELS="/data/models/ollama/deepseek"
export OLLAMA_FLASH_ATTENTION=1
export OLLAMA_KEEP_ALIVE=-1' >> ~/.bashrc
source ~/.bashrc
# 配置系统服务
sudo systemctl edit ollama添加以下配置：
[Service]
Environment="OLLAMA_MODELS=/data/models/ollama/deepseek"
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KEEP_ALIVE=-1"创建Modelfile：
nano Modelfile添加以下内容：
FROM /data/models/deepseek/DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ2_XXS/DeepSeek-R1-UD-IQ2_XXS.gguf
# GPU配置
PARAMETER num_gpu 56
PARAMETER num_ctx 8192
# 生成参数设置
PARAMETER temperature 0.6
PARAMETER min_p 0.05
# 对话模板
TEMPLATE "<｜User｜>{{ .System }} {{ .Prompt }}<｜Assistant｜>"创建和运行模型：
# 创建模型
ollama create DeepSeek-R1-UD-IQ2_XXS -f ./Modelfile
# 运行模型
ollama run DeepSeek-R1-UD-IQ2_XXS --verbose4.3 安装Web UI（可选）
# 安装依赖
sudo apt update
sudo apt install python3-pip
# 创建虚拟环境
python3 -m venv venv
source venv/bin/activate
# 安装Web UI
pip install open-webui
open-webui serve访问 http://<服务器IP>:8080 即可使用Web界面。