隨著大語言模型的廣泛應(yīng)用，如何在低成本硬件上實現(xiàn)高性能、高并發(fā)的本地化部署成為關(guān)鍵需求。vLLM是一個開源的大語言模型推理庫，它能夠顯著提升大語言模型推理的速度和效率，讓開發(fā)者可以更高效地部署和運(yùn)行大語言模型，尤其對于多GPU跑LLM的優(yōu)化表現(xiàn)突出。在Linux操作系統(tǒng)，Intel在vLLM上提供完整的打包步驟和鏡像，方便用戶進(jìn)行本地部署大模型，支持多用戶多并發(fā)，性能優(yōu)異。

在眾多大模型里，DeepSeek-R1-32B在數(shù)學(xué)推理、代碼生成與邏輯分析等場景表現(xiàn)尤為突出，實測性能接近 70B 級別模型，成為目前DeepSeek蒸餾模型中的理想優(yōu)選！    

而阿里Qwen團(tuán)隊發(fā)布的QwQ-32B大語言模型，一經(jīng)推出便廣受關(guān)注，在測試數(shù)學(xué)能力的AIME24評測集上，以及評估代碼能力的LiveCodeBench中，QwQ-32B表現(xiàn)與DeepSeek-R1相當(dāng)，遠(yuǎn)勝于o1-mini及相同尺寸的R1蒸餾模型。可以說，QwQ-32B模型是目前業(yè)界表現(xiàn)更為突出、被廣泛運(yùn)用的強(qiáng)悍選擇。下面就跟大家詳細(xì)介紹如何通過Intel在vLLM上提供的完整打包方案和鏡像本地部署DeepSeek 32B和QWQ 32B模型。本地部署32B模型前，需先確認(rèn)本機(jī)具備至少20G顯存以確保充分發(fā)揮性能，此次演示使用的配置為：

（以上整機(jī)配置成本僅約11720元起，具備更強(qiáng)的性價比優(yōu)勢）

本地部署DeepSeek 32B模型具體步驟：    

1、確認(rèn)OS版本為：Ubuntu 22.04 + Intel Out-of-Tree GPU drivers.

2、在BIOS設(shè)置中，找到“PCI Express Configuration”并且打開“PCIE Resizable BAR Support”

          

3、進(jìn)行UBUNTU安裝：

1）安裝Ubuntu22.04.1+Kernel 6.5.0-35-generic

—下載https://old-releases.ubuntu.com/releases/22.04.1/ubuntu-22.04.1 desktop-amd64.iso

—使用燒錄工具 (比如rufus) 來創(chuàng)建U-Disk

—安裝Ubuntu

—確保網(wǎng)絡(luò)可以正常使用

          

2）安裝 Intel Out-of-Tree GPU driver

· # Install the Intel graphics GPG public key

· wget -q0 - https://repositories.intel.com/gpu/intel-graphics.key |

· sudo gpg --yes --dearmor --output /usr/share/keyrings/intel-graphics.gpg

· # Configure the repositories.intel.com package repository

 · echo "deb [arch=amd64,i386 signed-by=/usr/share/keyrings/intel graphics.gpg] https://repositories.intel.com/gpu/ubuntu jammy unified" |     

· sudo tee /etc/apt/sources.list.d/intel-gpu-jammy.list

· # Update the package repository metadata

· sudo apt update

· sudo apt install -y intel-i915-dkms intel-fw-gpu

          

3）Configuring Render Group Membership

· sudo gpasswd -a ${USER} render

· sudo reboot

          

4）驗證Intel® Arc™ A770 PCIe Configuration Space

· #List the VGA device PCIe bus address to confirm 2x A770s are detected

· sudo lspci | grep -i vga

o 03:00.0 VGA compatible controller: Intel Corporation Device 56a0 (rev 08)

o 04:00.0 VGA compatible controller: Intel Corporation Device 56a0 (rev 08)

· sudo lspci -s 03:00.0 -vvv

· #You should see an output as following:

o Capabilities: [420 v1] Physical Resizable BAR

·  BAR 2: current size: 16GB, supported: 256MB 512MB 1GB 2GB 4GB 8GB 16GB    

          

5）Install Docker – 或參考https://docs.docker.com/engine/install/ubuntu/

· # Add Docker's official GPG key:

· sudo apt-get update

· sudo apt-get install ca-certificates curl

· sudo install -m 0755 -d /etc/apt/keyrings

· sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc

· sudo chmod a+r /etc/apt/keyrings/docker.asc

· # Add the repository to Apt sources:

· echo

· "deb [arch=$(dpkg --print-architecture) signed- by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu

· $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}") stable" |

· sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

· sudo apt-get update

· sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx plugin docker-compose-plugin    

          

4、Huggingface 下載 32B-AWQ 模型

1）訪問

https://huggingface.co/Valdemardi/DeepSeek-R1-Distill-Qwen-32B-AWQ

2）下載模型到文件目錄/model（如果沒有該目錄，請在root模式下創(chuàng)建/model）

3）所有鏡像和腳本，已經(jīng)打包上傳到百度網(wǎng)盤：通過網(wǎng)盤分享的文件：model.zip 鏈接: https://pan.baidu.com/s/1a019IPXap5OmnPM9WICwBg?pwd=mp8w 提取碼: mp8w        

5、載入鏡像

1）載入Intel提供的LLM后端鏡像：

—把ipex-llm-serving.tar.gz 拷貝到本機(jī)

—加載docker鏡像：sudo docker load -i ipex-llm-serving.tar.gz

2）載入Intel提供的前端鏡像：

—把openwebui.tar.gz 拷貝到本機(jī)

—加載docker鏡像：sudo docker load -i openwebui.tar.gz

3）確認(rèn)鏡像加載成功：加載成功后sudo docker images 應(yīng)該出現(xiàn)以下打印：

          

6、啟動容器Pod    

1）啟動后端容器：

—把create-llm.sh 拷貝到本機(jī)

—啟動腳本：sudo bash create-llm.sh

—如果第一次創(chuàng)建，那么將會有打印，這是正常現(xiàn)象：Error response from daemon: No such container: llm-backend

—確認(rèn)pod已經(jīng)啟動：

          

2）啟動前端容器：

—把create-ui.sh 拷貝到本機(jī)

—啟動腳本：sudo bash create-ui.sh

—如果第一次創(chuàng)建，那么將會有打印，這是正常現(xiàn)象：Error response from daemon: No such container: llm-frontend

—確認(rèn)pod已經(jīng)啟動：

          

7、啟動應(yīng)用

1）啟動后端應(yīng)用：

—新建shell窗口，執(zhí)行命令docker exec -it llm-backend bash /model/ds.sh    

—程序開始后等待約數(shù)分鐘，出現(xiàn)如下打印為正常啟動：

2）啟動前端應(yīng)用：

—前端應(yīng)用為容器自啟動，執(zhí)行命令docker logs llm-frontend，出現(xiàn)下圖的打印為已經(jīng)啟動：

3）在啟動完前后端后，需要手動設(shè)置顯存頻率和CPU頻率：

— 設(shè)置CPU頻率，以Ultra 7 265K為例

cpupower frequency-set -d 3.9GHz

—設(shè)置顯存頻率

xpu-smi config -d 0 -t 0 --frequencyrange 2400,2400

xpu-smi config -d 1 -t 0 --frequencyrange 2400,2400

10、交互

1）圖形界面打開firefox瀏覽器，輸入地址127.0.0.1:8080，跳轉(zhuǎn)本地前端頁面：

Email填寫admin@intel.com, Password填寫admin完成登錄，如果界面是注冊界面，則按照個人偏好完成管理員注冊即可。

2）如果后端服務(wù)正常，在登陸后會在左上角下拉菜單里看到啟動的模型，點(diǎn)擊模型名稱應(yīng)用該模型：    

完成以上操作啟用對應(yīng)模型，輸入Prompt即可進(jìn)行推理及內(nèi)容輸出。

如果需要進(jìn)行QwQ-32B-AWQ模型的本地部署，只需要基于以上步驟的基礎(chǔ)，進(jìn)行3步操作：

1）下載QwQ-32B-AWQ模型

https://huggingface.co/Qwen/QwQ-32B-AWQ，下載完成后將模型放在/model下

2）修改ds.sh

3）啟動后端，選擇模型名稱應(yīng)用該模型

   

以下為MS-iCraft Z890 Pacific搭載雙Intel Arc A770顯卡運(yùn)行DeepSeek-R1-Distill-Qwen-32B和QwQ-32B-AWQ的實機(jī)截圖，實測輸出Token數(shù)為27.2/S，充分滿足日常工作需求。

（QwQ-32B-AWQ運(yùn)行速度實機(jī)截圖）

（DeepSeek-R1-Distill-Qwen-32B運(yùn)行速度實機(jī)截圖）

相較于Windows版本，通過Linux vLLM方案進(jìn)行大模型的本地部署在多并發(fā)優(yōu)化和多卡優(yōu)化性能上有明顯優(yōu)勢。基于vLLM的后端服務(wù)框架，能打造一個支持20路并發(fā)請求，單路推理速度達(dá)10+tokens/s的企業(yè)AI私有云，支持局域網(wǎng)內(nèi)的所有用戶同時訪問。推薦銘瑄Z890主板搭配雙Intel Arc A770顯卡，打造萬元級高配性價比整機(jī)方案，實現(xiàn)AI推理、內(nèi)容輸出高效流暢。    

作為iCraft系列下的明星產(chǎn)品，MS-iCraft Z890 Pacific和MS-iCraft Z890 Arctic創(chuàng)新配備一塊3.4英寸銳影LED顯示屏，支持多種模式設(shè)置，除了可實時顯示系統(tǒng)信息、個性化開關(guān)機(jī)畫面外，還可開啟桌面映射，同步顯示專屬畫面或影像。供電方面，采用16+1+1相Dr.MOS直出供電，充分發(fā)揮CPU潛能。內(nèi)存方面，配備4*高速DDR5內(nèi)存插槽，超頻沖擊8800MHz，同時8層服務(wù)器級低損耗PCB和背鉆工藝能有效降低信號損耗、增強(qiáng)信號完整性、助力DDR5高速傳輸。    

快來選擇一款銘瑄Z890主板，充分發(fā)揮性能潛力，讓 32B 大模型的推理效率與并發(fā)能力突破極限吧！