Ubuntu24.04-DeepSeek-R1-GGUF(UD-IQ2_XXS)部署学习

2025-02-10 • 没有评论

Ubuntu 24.04 LTS 服务器配置手册

硬件环境

使用浪潮NF5468 G7服务器，配置如下：

  • CPU: EYPC 9654 * 2
  • 内存: 32 * 24 RAM
  • GPU: 8 * NVIDIA L20 48G
  • 存储: 480G 2 + 3.84T 6

1. 系统环境配置

1.1 系统信息

            .-/+oossssoo+/-.               root@NF5468 
        `:+ssssssssssssssssss+:`           ----------- 
      -+ssssssssssssssssssyyssss+-         OS: Ubuntu 24.04.1 LTS x86_64 
    .ossssssssssssssssssdMMMNysssso.       Host: NF5468-A7-A0-R0-00 0 
   /ssssssssssshdmmNNmmyNMMMMhssssss/      Kernel: 6.8.0-41-generic 
  +ssssssssshmydMMMMMMMNddddyssssssss+     Uptime: 1 day, 12 hours, 56 mins 
 /sssssssshNMMMyhhyyyyhmNMMMNhssssssss/    Packages: 1932 (dpkg), 11 (snap) 
.ssssssssdMMMNhsssssssssshNMMMdssssssss.   Shell: bash 5.2.21 
+sssshhhyNMMNyssssssssssssyNMMMysssssss+   Theme: Adwaita [GTK3] 
ossyNMMMNyMMhsssssssssssssshmmmhssssssso   Icons: Adwaita [GTK3] 
ossyNMMMNyMMhsssssssssssssshmmmhssssssso   Terminal: /dev/pts/0 
+sssshhhyNMMNyssssssssssssyNMMMysssssss+   CPU: AMD EPYC 9654 (384) @ 2.400GHz 
.ssssssssdMMMNhsssssssssshNMMMdssssssss.   Memory: 7748MiB / 773531MiB

1.2 更换软件源

# 备份原有源配置
sudo cp /etc/apt/sources.list.d/ubuntu.sources /etc/apt/sources.list.d/ubuntu.sources.bak

# 更换为中科大镜像源
sudo sed -i 's@//.*archive.ubuntu.com@//mirrors.ustc.edu.cn@g' /etc/apt/sources.list.d/ubuntu.sources

# 更新系统
sudo apt-get update
sudo apt-get -y upgrade

1.3 配置SSH远程访问

# 安装SSH服务器
sudo apt-get update
sudo apt-get install openssh-server

# 启用SSH服务
sudo systemctl enable ssh
sudo systemctl restart ssh

# 关闭防火墙
sudo systemctl disable ufw
sudo systemctl stop ufw

# 配置SSH服务
sudo nano /etc/ssh/sshd_config

添加以下配置：

# 允许root登录
PermitRootLogin yes

# 允许密码认证
PasswordAuthentication yes

# 启用密钥认证
PubkeyAuthentication yes

完成配置：

# 设置root密码
sudo passwd root

# 重启SSH服务
sudo systemctl restart ssh

1.4 安装NoMachine远程桌面

# 下载并安装NoMachine
wget https://downloads.nomachine.com/linux/?id=1
sudo dpkg -i nomachine_8.16.1_1_amd64.deb

# 配置服务
sudo systemctl enable nxserver
sudo systemctl start nxserver

# 检查服务状态
sudo systemctl status nxserver

2. CUDA环境配置

2.1 安装CUDA驱动

# 下载CUDA仓库配置
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-ubuntu2404.pin
sudo mv cuda-ubuntu2404.pin /etc/apt/preferences.d/cuda-repository-pin-600

# 下载并安装CUDA
wget https://developer.download.nvidia.com/compute/cuda/12.8.0/local_installers/cuda-repo-ubuntu2404-12-8-local_12.8.0-570.86.10-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu2404-12-8-local_12.8.0-570.86.10-1_amd64.deb
sudo cp /var/cuda-repo-ubuntu2404-12-8-local/cuda-*-keyring.gpg /usr/share/keyrings/

# 安装CUDA工具包和驱动
sudo apt-get update
sudo apt-get -y install cuda-toolkit-12-8
sudo apt-get install -y cuda-drivers

2.2 配置CUDA环境变量

echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

3. 存储配置

3.1 配置数据盘

# 查看磁盘信息
sudo fdisk -l /dev/sdb

# 使用parted创建分区
sudo parted /dev/sdb
# 在parted中执行：
mklabel gpt
mkpart primary xfs 0% 9.1TB
print
quit

# 格式化分区
sudo mkfs.xfs -f /dev/sdb1

# 创建挂载点
sudo mkdir -p /data

# 配置自动挂载
sudo blkid /dev/sdb1  # 获取UUID
echo "UUID=<获取到的UUID> /data xfs defaults 0 2" | sudo tee -a /etc/fstab

# 挂载文件系统
sudo mount -a
sudo systemctl daemon-reload

4. AI开发环境配置

4.1 安装llama.cpp

# 安装依赖
cd /data
sudo apt-get update
sudo apt-get install build-essential cmake curl libcurl4-openssl-dev git -y

# 克隆代码
git clone https://ghproxy.net/https://github.com/ggerganov/llama.cpp.git

# 编译配置
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF \
    -DGGML_CUDA=ON \
    -DLLAMA_CURL=ON \
    -DCMAKE_CUDA_COMPILER=/usr/local/cuda/bin/nvcc

# 编译
cmake --build llama.cpp/build \
    --config Release \
    -j \
    --clean-first \
    --target llama-quantize llama-cli llama-gguf-split

# 安装
sudo cp llama.cpp/build/bin/llama-* /usr/local/bin/

4.2 配置Ollama

# 创建目录
mkdir -p /data/models/ollama/deepseek
cd /data/models/ollama/deepseek

# 配置环境变量
echo '# Ollama configurations
export OLLAMA_MODELS="/data/models/ollama/deepseek"
export OLLAMA_FLASH_ATTENTION=1
export OLLAMA_KEEP_ALIVE=-1' >> ~/.bashrc

source ~/.bashrc

# 配置系统服务
sudo systemctl edit ollama

添加以下配置：

[Service]
Environment="OLLAMA_MODELS=/data/models/ollama/deepseek"
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KEEP_ALIVE=-1"

创建Modelfile：

nano Modelfile

添加以下内容：

FROM /data/models/deepseek/DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ2_XXS/DeepSeek-R1-UD-IQ2_XXS.gguf

# GPU配置
PARAMETER num_gpu 56
PARAMETER num_ctx 8192

# 生成参数设置
PARAMETER temperature 0.6
PARAMETER min_p 0.05

# 对话模板
TEMPLATE "<｜User｜>{{ .System }} {{ .Prompt }}<｜Assistant｜>"

创建和运行模型：

# 创建模型
ollama create DeepSeek-R1-UD-IQ2_XXS -f ./Modelfile

# 运行模型
ollama run DeepSeek-R1-UD-IQ2_XXS --verbose

4.3 安装Web UI（可选）

# 安装依赖
sudo apt update
sudo apt install python3-pip

# 创建虚拟环境
python3 -m venv venv
source venv/bin/activate

# 安装Web UI
pip install open-webui
open-webui serve

访问 http://<服务器IP>:8080 即可使用Web界面。

标签：没有标签

评论已关闭