oMLX 安裝與使用指南：在 Apple Silicon 上原生運行 MLX 模型

oMLX 是什麼？

oMLX 是一個基於 Apple MLX 框架的桌面應用，讓你在 Apple Silicon Mac 上原生運行 MLX 格式的 LLM。MLX 是 Apple 官方推出的機器學習框架，專為 M 系列芯片優化。

• 原生 Apple Silicon：利用 M3 Ultra 的 GPU + Neural Engine
• 統一記憶體：模型直接載入 512GB 統一記憶體
• 無需 Rosetta：ARM64 原生，比 llama.cpp 更快

安裝

# 下載最新版本
# https://github.com/open-mlx/oMLX/releases

# 或通過 Homebrew（如果有 cask）
brew install --cask omlx

下載 .dmg 後拖入 Applications。

模型導入

oMLX 支援 .safetensors 和 MLX 格式的模型。

從 HuggingFace 下載

# 安裝 MLX CLI
pip install mlx-lm

# 下載模型（自動轉換為 MLX 格式）
mlx_lm.convert --hf-path Qwen/Qwen2.5-7B-Instruct --mlx-path ~/models/qwen2.5-7b-mlx

# 量化（減少記憶體使用）
mlx_lm.convert --hf-path Qwen/Qwen2.5-7B-Instruct --mlx-path ~/models/qwen2.5-7b-q4 -q

推薦模型

配置與啟動

在 oMLX 應用中：

1. Settings → Models Directory：指向 ~/models/
2. 選擇模型：從下拉選單選擇已下載的模型
3. 調整參數：
   • Temperature: 0.7（創意）→ 0.1（精確）
   • Top-P: 0.9
   • Max Tokens: 4096
   • Context Length: 32768

API Server 模式

oMLX 提供 OpenAI 兼容的 API：

# 啟動 API Server
mlx_lm.server --model ~/models/qwen2.5-7b-mlx --port 8080

然後在 Claude Code 中使用：

{
  "apiKey": "not-needed",
  "baseURL": "http://localhost:8080/v1",
  "model": "qwen2.5-7b-mlx"
}

效能對比（M3 Ultra）

MLX 在大模型上的優勢更明顯，因為它更有效地利用 GPU。

oMLX vs Ollama vs LM Studio

常見問題

MLX 模型佔用空間太大？

使用量化：

mlx_lm.convert --hf-path model-name --mlx-path output-dir -q --q-bits 4

找不到 MLX 格式的模型？

在 HuggingFace 搜索 mlx-community，大部分流行模型都有 MLX 版本。

oMLX vs 直接用 MLX CLI？

oMLX 提供 GUI 和更方便的模型管理，適合日常使用。MLX CLI 更適合腳本和自動化。

推薦閱讀

• Apple MLX 官方文檔
• MLX Community Models
• LM Studio 使用指南