Mac Mini M4 部署解鎖版開源 DeepSeek 大模型

1. 安裝未審查版本的 DeepSeek 模型

安裝 LM Studio for Mac M Series

1. 下載並安裝 LM Studio。
2. 確保 Mac 上已安裝 brew（若無則可透過 /bin/bash -c “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)” 安裝）。

準備 DeepSeek 模型資料夾

$cd $HOME/.lmstudio/models/lmstudio-community

$mkdir DeepSeek-R1-Distill-Llama-8B-Abliterated-GGUF

2. 下載解鎖版開源模型

下載解鎖版模型檔案： DeepSeek-R1-Distill-Llama-8B-Abliterated-GGUF

移動下載的 .gguf 檔案到正確的資料夾：

mv $HOME/Downloads/DeepSeek-R1-Distill-Llama-8B-Abliterated.Q4_K_M.gguf $HOME/.lmstudio/models/lmstudio-community/DeepSeek-R1-Distill-Llama-8B-Abliterated-GGUF/

在 LM Studio 載入模型

1. 開啟 LM Studio。
2. 點擊 Local Models。
3. 載入 DeepSeek-R1-Distill-Llama-8B-Abliterated-GGUF 目錄內的模型。

此時 LLM 服務已經可以在本機內網使用使用， 接下來我們要建立 Cloudflare Tunnel，讓本地服務能夠被外部存取

http://192.168.x.x:1234 

http://localhost:1234

3. 安裝及註冊 Cloudflared

Cloudflared 是 Cloudflare 提供的一個命令行工具，主要用於安全地建立 Cloudflare Tunnel，讓本地服務能夠被外部存取，而無需公開 IP 或進行複雜的網絡設置。它的主要功能包括：

1. Cloudflare Tunnel：將本地服務（如 Web 應用或 API）暴露到互聯網，無需開放防火牆或設置端口轉發。
2. 加密傳輸：所有流量經過 Cloudflare 網絡加密，提供額外的安全性。
3. 零信任訪問控制：可以與 Cloudflare Access 整合，確保只有授權用戶能夠存取。
4. DDoS 防護：透過 Cloudflare 的全球網絡過濾惡意流量，提高服務的可用性與安全性。
5. DNS 解析與代理：允許透過 Cloudflare 解析本地應用的域名，避免暴露真實 IP。

接下來我們用 Cloudflared 用於創建一個通道（tunnel），將本地運行的 DeepSeek 服務公開到 free.aitwg.com，讓遠端裝置能夠安全地訪問該模型。

安裝 Cloudflared

$brew install cloudflared

註冊 Cloudflared

$cloudflared tunnel login

4. 設置 free.aitwg.com 並運行 Cloudflared

創建 Cloudflared Tunnel

$cloudflared tunnel create free

查詢 Tunnel 清單

$cloudflared tunnel list

配置 DNS 路由

$cloudflared tunnel route dns free free.aitwg.com

運行 Cloudflared Tunnel

$cloudflared tunnel run –url http://localhost:1234 free

至此，您的 Mac Mini M4 已成功部署解鎖版開源 DeepSeek 大模型，並可透過 Cloudflared 遠端存取！

5. 使用第三方 Chat App 設定使用 API

使用 DEMO.