Apple M5 Max (32-core GPU) · 36 GB 能跑哪些开源模型

统一内存 36 GB
带宽 460 GB/s
可用 24.0 GB

规格出处: 显存 · MacBook Pro - Tech Specs - Apple · 带宽 · MacBook Pro - Tech Specs - Apple

搜索精度上下文并发最低速度结构类型厂商排序

适配	模型	参数 / 激活	推荐精度	显存占用	估算速度	最长上下文	运行方式
流畅	Qwen3.5-35B-A3B Alibaba Qwen	36B / 3B	Q4_K_M	21.5 / 24.0 GB	116–173 tok/s	135K	统一内存
流畅	Qwen3.6-35B-A3B Alibaba Qwen	36B / 3B	Q4_K_M	21.5 / 24.0 GB	116–173 tok/s	135K	统一内存
流畅	Qwen3-Omni-30B-A3B-Captioner Alibaba Qwen	31.7B	Q4_K_M	19.6 / 24.0 GB	65–97 tok/s	55K	统一内存
流畅	GLM-4.7-Flash Zhipu AI	31.2B	Q5_0	21.4 / 24.0 GB	57–86 tok/s	58K	统一内存
流畅	Qwen3-VL-30B-A3B-Instruct Alibaba Qwen	31.1B	Q4_K_M官方	18.9 / 24.0 GB	73–110 tok/s	62K	统一内存
流畅	Qwen3-VL-30B-A3B-Thinking Alibaba Qwen	31.1B	Q4_K_M官方	18.9 / 24.0 GB	73–110 tok/s	62K	统一内存
流畅	Qwen3-30B-A3B-Instruct-2507 Alibaba Qwen	30.5B / 3.3B	Q5_0	21.3 / 24.0 GB	75–112 tok/s	37K	统一内存
流畅	Qwen3-30B-A3B-Thinking-2507 Alibaba Qwen	30.5B / 3.3B	Q5_0	21.3 / 24.0 GB	75–112 tok/s	37K	统一内存
流畅	Qwen3-30B-A3B Alibaba Qwen	30.5B / 3.3B	Q5_0官方	21.4 / 24.0 GB	75–112 tok/s	36K	统一内存
流畅	Qwen3-Coder-30B-A3B-Instruct Alibaba Qwen	30.5B / 3.3B	Q5_0	21.3 / 24.0 GB	75–112 tok/s	37K	统一内存
流畅	Hy-Memory-30B-A3B Tencent	30.1B / 3B	Q5_0	21.0 / 24.0 GB	80–120 tok/s	40K	统一内存
流畅	Granite Switch 4.1 30B IBM	30B	IQ4_XS	17.6 / 24.0 GB	13–19 tok/s	32K	统一内存
流畅	Qwen3.5-27B Alibaba Qwen	27.8B	Q4_K_M	17.0 / 24.0 GB	13–20 tok/s	120K	统一内存
流畅	Qwen3.6-27B Alibaba Qwen	27.8B	Q4_K_M	17.0 / 24.0 GB	13–20 tok/s	120K	统一内存
流畅	Qwen3.8-27B Alibaba Qwen	27.8B	Q4_K_M	17.0 / 24.0 GB	13–20 tok/s	120K	统一内存
流畅	Gemma 4 26B A4B IT Google	25.8B / 3.8B	Q6_K	21.2 / 24.0 GB	63–94 tok/s	79K	统一内存
流畅	Magistral Small 1.2 Mistral AI	24B	Q5_K_M官方	17.6 / 24.0 GB	13–19 tok/s	48K	统一内存
流畅	Devstral Small 1.0 Mistral AI	23.6B	Q5_K_M	17.6 / 24.0 GB	13–19 tok/s	48K	统一内存
流畅	Devstral Small 1.1 Mistral AI	23.6B	Q5_K_M	17.6 / 24.0 GB	13–19 tok/s	48K	统一内存
流畅	Magistral Small 1.0 Mistral AI	23.6B	Q5_K_M	17.6 / 24.0 GB	13–19 tok/s	39K	统一内存
流畅	Magistral Small 1.1 Mistral AI	23.6B	Q5_K_M官方	17.6 / 24.0 GB	13–19 tok/s	39K	统一内存
流畅	ERNIE-4.5-21B-A3B-Thinking Baidu	21.8B / 3B	Q6_K	18.0 / 24.0 GB	78–118 tok/s	118K	统一内存
流畅	GPT OSS 20B OpenAI	20.9B / 3.6B	原生 MXFP4官方	13.6 / 24.0 GB	89–134 tok/s	128K	统一内存
流畅	Qwen2.5-14B-Instruct-1M Alibaba Qwen	14.8B	Q8_0	16.8 / 24.0 GB	13–20 tok/s	46K	统一内存
流畅	Qwen2.5-14B-Instruct Alibaba Qwen	14.8B	Q8_0官方	16.9 / 24.0 GB	13–20 tok/s	32K	统一内存
流畅	DeepSeek-R1-Distill-Qwen-14B DeepSeek	14.8B	Q8_0	16.8 / 24.0 GB	13–20 tok/s	32K	统一内存
流畅	Qwen3-14B Alibaba Qwen	14.8B	MLX 8bit官方	16.1 / 24.0 GB	14–21 tok/s	128K	统一内存
流畅	Gemma 3 12B IT Google	12.2B	Q8_0	15.5 / 24.0 GB	14–22 tok/s	32K	统一内存
流畅	Qwen2.5-Omni-7B Alibaba Qwen	10.7B	Q8_0	11.6 / 24.0 GB	19–29 tok/s	32K	统一内存
流畅	GLM-4.6V-Flash Zhipu AI	10.3B	Q8_0	11.0 / 24.0 GB	20–31 tok/s	125K	统一内存
流畅	Qwen3.5-9B Alibaba Qwen	9.7B	Q8_0	10.3 / 24.0 GB	22–33 tok/s	256K	统一内存
流畅	Qianfan-VL-8B Baidu	8.8B	Q8_0	10.2 / 24.0 GB	22–33 tok/s	32K	统一内存
流畅	Granite Switch 4.1 8B IBM	8.8B	Q8_0官方	11.2 / 24.0 GB	20–30 tok/s	86K	统一内存
流畅	Qwen3-VL-8B-Instruct Alibaba Qwen	8.8B	Q8_0官方	9.7 / 24.0 GB	23–35 tok/s	109K	统一内存
流畅	Qwen3-VL-8B-Thinking Alibaba Qwen	8.8B	Q8_0官方	9.7 / 24.0 GB	23–35 tok/s	109K	统一内存
流畅	pplx-embed-v2-context-9b Perplexity	8.4B	Q8_0	9.1 / 24.0 GB	25–38 tok/s	256K	统一内存
流畅	Qwen2.5-VL-7B-Instruct Alibaba Qwen	8.3B	原生 BF16官方	16.7 / 24.0 GB	13–20 tok/s	125K	统一内存
流畅	Qwen3-8B Alibaba Qwen	8.2B	原生 BF16官方	17.1 / 24.0 GB	13–20 tok/s	128K	统一内存
流畅	DeepSeek-R1-Distill-Llama-8B DeepSeek	8B	原生 BF16官方	16.7 / 24.0 GB	13–20 tok/s	66K	统一内存
流畅	Gemma 4 E4B Google	8B	原生 BF16官方	15.8 / 24.0 GB	14–21 tok/s	125K	统一内存
流畅	Ling-3.0-tiny Ant Group	7.9B / 1.3B	原生 BF16官方	15.6 / 24.0 GB	81–122 tok/s	128K	统一内存
流畅	Qwen2.5-7B-Instruct-1M Alibaba Qwen	7.6B	原生 BF16官方	15.3 / 24.0 GB	15–22 tok/s	166K	统一内存
流畅	Qwen2.5-7B-Instruct Alibaba Qwen	7.6B	原生 BF16官方	15.3 / 24.0 GB	15–22 tok/s	32K	统一内存
流畅	DeepSeek-R1-Distill-Qwen-7B DeepSeek	7.6B	原生 BF16官方	15.3 / 24.0 GB	15–22 tok/s	32K	统一内存
流畅	Mistral-7B-Instruct-v0.1 Mistral AI	7.2B	原生 BF16官方	15.2 / 24.0 GB	15–22 tok/s	32K	统一内存
流畅	Gemma 4 E2B Google	5.1B	原生 BF16官方	10.1 / 24.0 GB	22–33 tok/s	125K	统一内存
流畅	WeVisOne-VL-4B Tencent	4.8B	原生 BF16官方	10.6 / 24.0 GB	21–32 tok/s	103K	统一内存
流畅	Qianfan-OCR Baidu	4.7B	原生 BF16官方	10.5 / 24.0 GB	22–32 tok/s	31K	统一内存
流畅	Qwen3.5-4B Alibaba Qwen	4.7B	原生 BF16官方	9.4 / 24.0 GB	24–36 tok/s	256K	统一内存
流畅	Qwen3-VL-4B-Instruct Alibaba Qwen	4.4B	原生 BF16官方	9.9 / 24.0 GB	23–34 tok/s	108K	统一内存
流畅	Qwen3-4B-Instruct-2507 Alibaba Qwen	4B	原生 BF16官方	9.1 / 24.0 GB	25–37 tok/s	114K	统一内存
流畅	Qwen3-4B Alibaba Qwen	4B	原生 BF16官方	9.1 / 24.0 GB	25–37 tok/s	128K	统一内存
流畅	DeepSeek-OCR DeepSeek	3.3B	原生 BF16官方	7.2 / 24.0 GB	83–124 tok/s	8K	统一内存
流畅	Granite-4.0-H-Micro IBM	3.2B	原生 BF16官方	6.5 / 24.0 GB	36–53 tok/s	128K	统一内存
流畅	Qwen3-1.7B Alibaba Qwen	2B	原生 BF16官方	5.2 / 24.0 GB	46–69 tok/s	40K	统一内存
流畅	DeepSeek-R1-Distill-Qwen-1.5B DeepSeek	1.8B	原生 BF16官方	4.0 / 24.0 GB	61–91 tok/s	125K	统一内存
流畅	GLM-OCR Zhipu AI	1.3B	原生 BF16官方	3.5 / 24.0 GB	72–108 tok/s	128K	统一内存
流畅	Qwen3-0.6B Alibaba Qwen	0.8B	原生 BF16官方	2.8 / 24.0 GB	94–141 tok/s	40K	统一内存
流畅	EmbeddingGemma 2 Google	0.7B	原生 BF16官方	2.0 / 24.0 GB	146–219 tok/s	256K	统一内存
流畅	Qwen3-Embedding-0.6B Alibaba Qwen	0.6B	原生 BF16官方	2.5 / 24.0 GB	108–162 tok/s	32K	统一内存
流畅	bge-reranker-v2-m3 BAAI	0.6B	原生 FP32官方	3.4 / 24.0 GB	75–112 tok/s	8K	统一内存
流畅	bge-m3-unsupervised BAAI	0.6B	原生 FP32官方	3.4 / 24.0 GB	75–112 tok/s	8K	统一内存
流畅	bge-large-en-v1.5 BAAI	0.3B	原生 FP32官方	1.8 / 24.0 GB	165–248 tok/s	512	统一内存
流畅	bge-reranker-base BAAI	0.3B	原生 FP32官方	1.6 / 24.0 GB	203–305 tok/s	514	统一内存
流畅	bge-base-en-v1.5 BAAI	0.1B	原生 FP32官方	0.9 / 24.0 GB	503–755 tok/s	512	统一内存
流畅	bge-small-en-v1.5 BAAI	0B	原生 FP32官方	0.6 / 24.0 GB	1609–2414 tok/s	512	统一内存
能跑但慢	Qwen2.5-VL-32B-Instruct Alibaba Qwen	33.5B	Q4_0	20.4 / 24.0 GB	11–16 tok/s	22K	统一内存
能跑但慢	Qwen3-VL-32B-Instruct Alibaba Qwen	33.4B	Q4_K_M官方	21.3 / 24.0 GB	10–16 tok/s	18K	统一内存
能跑但慢	Qwen3-VL-32B-Thinking Alibaba Qwen	33.4B	Q4_K_M官方	21.3 / 24.0 GB	10–16 tok/s	18K	统一内存
能跑但慢	Qwen2.5-32B-Instruct Alibaba Qwen	32.8B	Q4_K_M官方	21.4 / 24.0 GB	10–16 tok/s	18K	统一内存
能跑但慢	Qwen2.5-Coder-32B-Instruct Alibaba Qwen	32.8B	INT4 (AWQ / GPTQ)官方	20.9 / 24.0 GB	11–16 tok/s	20K	统一内存
能跑但慢	QwQ-32B Alibaba Qwen	32.8B	Q4_K_M官方	21.4 / 24.0 GB	10–16 tok/s	18K	统一内存
能跑但慢	DeepSeek-R1-Distill-Qwen-32B DeepSeek	32.8B	Q4_K_M	21.5 / 24.0 GB	10–16 tok/s	18K	统一内存
能跑但慢	Qwen3-32B Alibaba Qwen	32.8B	Q4_K_M官方	21.3 / 24.0 GB	10–16 tok/s	18K	统一内存
能跑但慢	Gemma 4 31B IT Google	31.3B	Q4_K_M	20.6 / 24.0 GB	11–16 tok/s	30K	统一内存

按厂商 Hugging Face 仓库的数据估算（截至 2026-11-06）；带筛选的页面不建索引。怎么估算的