Apple M5 Pro (16-core GPU) · 24 GB 能跑哪些开源模型
- 统一内存 24 GB
- 带宽 307 GB/s
- 可用 16.0 GB
规格出处: 显存 · MacBook Pro - Tech Specs - Apple · 带宽 · MacBook Pro - Tech Specs - Apple
| 适配 | 模型 | 参数 / 激活 | 推荐精度 | 显存占用 | 估算速度 | 最长上下文 | 运行方式 |
|---|---|---|---|---|---|---|---|
| ●流畅 | Gemma 4 26B A4B IT Google | 25.8B / 3.8B | IQ4_XS | 60–90 tok/s | 61K | 统一内存 | |
| ●流畅 | ERNIE-4.5-21B-A3B-Thinking Baidu | 21.8B / 3B | Q4_K_M | 67–100 tok/s | 55K | 统一内存 | |
| ●流畅 | GPT OSS 20B OpenAI | 20.9B / 3.6B | 原生 MXFP4官方 | 60–89 tok/s | 108K | 统一内存 | |
| ●流畅 | Qwen2.5-14B-Instruct-1M Alibaba Qwen | 14.8B | Q5_K_M | 13–19 tok/s | 30K | 统一内存 | |
| ●流畅 | Qwen2.5-14B-Instruct Alibaba Qwen | 14.8B | Q5_K_M官方 | 13–19 tok/s | 30K | 统一内存 | |
| ●流畅 | DeepSeek-R1-Distill-Qwen-14B DeepSeek | 14.8B | Q5_K_M | 13–19 tok/s | 30K | 统一内存 | |
| ●流畅 | Qwen3-14B Alibaba Qwen | 14.8B | Q5_K_M官方 | 13–19 tok/s | 36K | 统一内存 | |
| ●流畅 | Gemma 3 12B IT Google | 12.2B | Q5_K_M | 13–20 tok/s | 21K | 统一内存 | |
| ●流畅 | Qwen2.5-Omni-7B Alibaba Qwen | 10.7B | Q8_0 | 13–19 tok/s | 32K | 统一内存 | |
| ●流畅 | GLM-4.6V-Flash Zhipu AI | 10.3B | Q8_0 | 14–20 tok/s | 125K | 统一内存 | |
| ●流畅 | Qwen3.5-9B Alibaba Qwen | 9.7B | Q8_0 | 15–22 tok/s | 190K | 统一内存 | |
| ●流畅 | Qianfan-VL-8B Baidu | 8.8B | Q8_0 | 15–22 tok/s | 32K | 统一内存 | |
| ●流畅 | Granite Switch 4.1 8B IBM | 8.8B | Q8_0官方 | 13–20 tok/s | 37K | 统一内存 | |
| ●流畅 | Qwen3-VL-8B-Instruct Alibaba Qwen | 8.8B | Q8_0官方 | 15–23 tok/s | 52K | 统一内存 | |
| ●流畅 | Qwen3-VL-8B-Thinking Alibaba Qwen | 8.8B | Q8_0官方 | 15–23 tok/s | 52K | 统一内存 | |
| ●流畅 | pplx-embed-v2-context-9b Perplexity | 8.4B | Q8_0 | 17–25 tok/s | 230K | 统一内存 | |
| ●流畅 | Qwen2.5-VL-7B-Instruct Alibaba Qwen | 8.3B | Q8_0 | 17–25 tok/s | 125K | 统一内存 | |
| ●流畅 | Qwen3-8B Alibaba Qwen | 8.2B | MLX 8bit官方 | 16–24 tok/s | 128K | 统一内存 | |
| ●流畅 | DeepSeek-R1-Distill-Llama-8B DeepSeek | 8B | Q8_0 | 16–24 tok/s | 60K | 统一内存 | |
| ●流畅 | Gemma 4 E4B Google | 8B | Q8_0 | 18–27 tok/s | 125K | 统一内存 | |
| ●流畅 | Ling-3.0-tiny Ant Group | 7.9B / 1.3B | Q8_0官方 | 95–143 tok/s | 128K | 统一内存 | |
| ●流畅 | Qwen2.5-7B-Instruct-1M Alibaba Qwen | 7.6B | Q8_0 | 18–27 tok/s | 145K | 统一内存 | |
| ●流畅 | Qwen2.5-7B-Instruct Alibaba Qwen | 7.6B | Q8_0官方 | 18–27 tok/s | 32K | 统一内存 | |
| ●流畅 | DeepSeek-R1-Distill-Qwen-7B DeepSeek | 7.6B | Q8_0 | 18–27 tok/s | 32K | 统一内存 | |
| ●流畅 | Mistral-7B-Instruct-v0.1 Mistral AI | 7.2B | Q8_0 | 18–26 tok/s | 32K | 统一内存 | |
| ●流畅 | Gemma 4 E2B Google | 5.1B | 原生 BF16官方 | 15–22 tok/s | 125K | 统一内存 | |
| ●流畅 | WeVisOne-VL-4B Tencent | 4.8B | 原生 BF16官方 | 14–21 tok/s | 46K | 统一内存 | |
| ●流畅 | Qianfan-OCR Baidu | 4.7B | 原生 BF16官方 | 14–22 tok/s | 31K | 统一内存 | |
| ●流畅 | Qwen3.5-4B Alibaba Qwen | 4.7B | 原生 BF16官方 | 16–24 tok/s | 218K | 统一内存 | |
| ●流畅 | Qwen3-VL-4B-Instruct Alibaba Qwen | 4.4B | 原生 BF16官方 | 15–23 tok/s | 51K | 统一内存 | |
| ●流畅 | Qwen3-4B-Instruct-2507 Alibaba Qwen | 4B | 原生 BF16官方 | 17–25 tok/s | 57K | 统一内存 | |
| ●流畅 | Qwen3-4B Alibaba Qwen | 4B | 原生 BF16官方 | 17–25 tok/s | 128K | 统一内存 | |
| ●流畅 | DeepSeek-OCR DeepSeek | 3.3B | 原生 BF16官方 | 55–83 tok/s | 8K | 统一内存 | |
| ●流畅 | Granite-4.0-H-Micro IBM | 3.2B | 原生 BF16官方 | 24–36 tok/s | 128K | 统一内存 | |
| ●流畅 | Qwen3-1.7B Alibaba Qwen | 2B | 原生 BF16官方 | 31–46 tok/s | 40K | 统一内存 | |
| ●流畅 | DeepSeek-R1-Distill-Qwen-1.5B DeepSeek | 1.8B | 原生 BF16官方 | 41–61 tok/s | 125K | 统一内存 | |
| ●流畅 | GLM-OCR Zhipu AI | 1.3B | 原生 BF16官方 | 48–72 tok/s | 128K | 统一内存 | |
| ●流畅 | Qwen3-0.6B Alibaba Qwen | 0.8B | 原生 BF16官方 | 63–94 tok/s | 40K | 统一内存 | |
| ●流畅 | EmbeddingGemma 2 Google | 0.7B | 原生 BF16官方 | 97–146 tok/s | 256K | 统一内存 | |
| ●流畅 | Qwen3-Embedding-0.6B Alibaba Qwen | 0.6B | 原生 BF16官方 | 72–108 tok/s | 32K | 统一内存 | |
| ●流畅 | bge-reranker-v2-m3 BAAI | 0.6B | 原生 FP32官方 | 50–75 tok/s | 8K | 统一内存 | |
| ●流畅 | bge-m3-unsupervised BAAI | 0.6B | 原生 FP32官方 | 50–75 tok/s | 8K | 统一内存 | |
| ●流畅 | bge-large-en-v1.5 BAAI | 0.3B | 原生 FP32官方 | 110–166 tok/s | 512 | 统一内存 | |
| ●流畅 | bge-reranker-base BAAI | 0.3B | 原生 FP32官方 | 136–204 tok/s | 514 | 统一内存 | |
| ●流畅 | bge-base-en-v1.5 BAAI | 0.1B | 原生 FP32官方 | 336–504 tok/s | 512 | 统一内存 | |
| ●流畅 | bge-small-en-v1.5 BAAI | 0B | 原生 FP32官方 | 1074–1611 tok/s | 512 | 统一内存 | |
| ◐能跑但慢 | Qwen3.5-27B Alibaba Qwen | 27.8B | Q4_0 | 9–14 tok/s | 11K | 统一内存 | |
| ◐能跑但慢 | Qwen3.6-27B Alibaba Qwen | 27.8B | Q4_0 | 9–14 tok/s | 11K | 统一内存 | |
| ◐能跑但慢 | Qwen3.8-27B Alibaba Qwen | 27.8B | Q4_0 | 9–14 tok/s | 11K | 统一内存 | |
| ◐能跑但慢 | Magistral Small 1.2 Mistral AI | 24B | IQ4_XS | 11–16 tok/s | 22K | 统一内存 | |
| ◐能跑但慢 | Devstral Small 1.0 Mistral AI | 23.6B | Q4_0 | 11–16 tok/s | 19K | 统一内存 | |
| ◐能跑但慢 | Devstral Small 1.1 Mistral AI | 23.6B | Q4_0 | 11–16 tok/s | 19K | 统一内存 | |
| ◐能跑但慢 | Magistral Small 1.0 Mistral AI | 23.6B | Q4_0 | 11–16 tok/s | 19K | 统一内存 | |
| ◐能跑但慢 | Magistral Small 1.1 Mistral AI | 23.6B | Q4_0 | 11–16 tok/s | 19K | 统一内存 |
按厂商 Hugging Face 仓库的数据估算（截至 2026-11-06）；带筛选的页面不建索引。 怎么估算的