Apple M4 · 16 GB 能跑哪些开源模型

统一内存 16 GB
带宽 120 GB/s
可用 10.7 GB

规格出处: 显存 · MacBook Air (13-inch, M4, 2025) - Tech Specs - Apple Support · 带宽 · MacBook Air (13-inch, M4, 2025) - Tech Specs - Apple Support

搜索精度上下文并发最低速度结构类型厂商排序

适配	模型	参数 / 激活	推荐精度	显存占用	估算速度	最长上下文	运行方式
流畅	pplx-embed-v2-context-9b Perplexity	8.4B	IQ4_XS	4.9 / 10.7 GB	13–19 tok/s	192K	统一内存
流畅	Gemma 4 E4B Google	8B	Q4_0	4.8 / 10.7 GB	13–19 tok/s	125K	统一内存
流畅	Ling-3.0-tiny Ant Group	7.9B / 1.3B	Q8_0官方	8.5 / 10.7 GB	37–56 tok/s	88K	统一内存
流畅	Qwen2.5-7B-Instruct-1M Alibaba Qwen	7.6B	Q4_0	4.9 / 10.7 GB	13–19 tok/s	113K	统一内存
流畅	Qwen2.5-7B-Instruct Alibaba Qwen	7.6B	IQ4_XS	4.7 / 10.7 GB	13–20 tok/s	32K	统一内存
流畅	DeepSeek-R1-Distill-Qwen-7B DeepSeek	7.6B	Q4_0	4.9 / 10.7 GB	13–19 tok/s	32K	统一内存
流畅	Gemma 4 E2B Google	5.1B	Q6_K	4.5 / 10.7 GB	14–21 tok/s	125K	统一内存
流畅	WeVisOne-VL-4B Tencent	4.8B	Q5_K_M	4.8 / 10.7 GB	13–19 tok/s	49K	统一内存
流畅	Qianfan-OCR Baidu	4.7B	Q5_K_M	4.8 / 10.7 GB	13–20 tok/s	31K	统一内存
流畅	Qwen3.5-4B Alibaba Qwen	4.7B	Q6_K	4.3 / 10.7 GB	15–22 tok/s	211K	统一内存
流畅	Qwen3-VL-4B-Instruct Alibaba Qwen	4.4B	Q5_K_M	4.6 / 10.7 GB	14–21 tok/s	51K	统一内存
流畅	Qwen3-4B-Instruct-2507 Alibaba Qwen	4B	Q6_K	4.7 / 10.7 GB	13–20 tok/s	50K	统一内存
流畅	Qwen3-4B Alibaba Qwen	4B	Q6_K官方	4.7 / 10.7 GB	13–20 tok/s	128K	统一内存
流畅	DeepSeek-OCR DeepSeek	3.3B	原生 BF16官方	7.2 / 10.7 GB	22–32 tok/s	8K	统一内存
流畅	Granite-4.0-H-Micro IBM	3.2B	Q8_0官方	3.7 / 10.7 GB	17–26 tok/s	128K	统一内存
流畅	Qwen3-1.7B Alibaba Qwen	2B	MLX 8bit官方	3.0 / 10.7 GB	22–33 tok/s	40K	统一内存
流畅	DeepSeek-R1-Distill-Qwen-1.5B DeepSeek	1.8B	原生 BF16官方	4.0 / 10.7 GB	16–24 tok/s	125K	统一内存
流畅	GLM-OCR Zhipu AI	1.3B	原生 BF16官方	3.5 / 10.7 GB	19–28 tok/s	123K	统一内存
流畅	Qwen3-0.6B Alibaba Qwen	0.8B	原生 BF16官方	2.8 / 10.7 GB	25–37 tok/s	40K	统一内存
流畅	EmbeddingGemma 2 Google	0.7B	原生 BF16官方	2.0 / 10.7 GB	38–57 tok/s	256K	统一内存
流畅	Qwen3-Embedding-0.6B Alibaba Qwen	0.6B	原生 BF16官方	2.5 / 10.7 GB	28–42 tok/s	32K	统一内存
流畅	bge-reranker-v2-m3 BAAI	0.6B	原生 FP32官方	3.4 / 10.7 GB	20–29 tok/s	8K	统一内存
流畅	bge-m3-unsupervised BAAI	0.6B	原生 FP32官方	3.4 / 10.7 GB	20–29 tok/s	8K	统一内存
流畅	bge-large-en-v1.5 BAAI	0.3B	原生 FP32官方	1.8 / 10.7 GB	43–65 tok/s	512	统一内存
流畅	bge-reranker-base BAAI	0.3B	原生 FP32官方	1.6 / 10.7 GB	53–80 tok/s	514	统一内存
流畅	bge-base-en-v1.5 BAAI	0.1B	原生 FP32官方	0.9 / 10.7 GB	131–197 tok/s	512	统一内存
流畅	bge-small-en-v1.5 BAAI	0B	原生 FP32官方	0.6 / 10.7 GB	420–630 tok/s	512	统一内存
能跑但慢	Qwen2.5-14B-Instruct-1M Alibaba Qwen	14.8B	IQ4_XS	9.3 / 10.7 GB	6–10 tok/s	15K	统一内存
能跑但慢	Qwen2.5-14B-Instruct Alibaba Qwen	14.8B	IQ4_XS	9.3 / 10.7 GB	6–10 tok/s	15K	统一内存
能跑但慢	DeepSeek-R1-Distill-Qwen-14B DeepSeek	14.8B	IQ4_XS	9.3 / 10.7 GB	6–10 tok/s	15K	统一内存
能跑但慢	Qwen3-14B Alibaba Qwen	14.8B	MLX 4bit官方	9.1 / 10.7 GB	7–10 tok/s	18K	统一内存
能跑但慢	Gemma 3 12B IT Google	12.2B	IQ4_XS	9.3 / 10.7 GB	6–9 tok/s	11K	统一内存
能跑但慢	Qwen2.5-Omni-7B Alibaba Qwen	10.7B	Q6_K	9.1 / 10.7 GB	6–10 tok/s	32K	统一内存
能跑但慢	GLM-4.6V-Flash Zhipu AI	10.3B	Q6_K	8.7 / 10.7 GB	7–10 tok/s	59K	统一内存
能跑但慢	Qwen3.5-9B Alibaba Qwen	9.7B	Q6_K	8.1 / 10.7 GB	7–11 tok/s	89K	统一内存
能跑但慢	Qianfan-VL-8B Baidu	8.8B	Q6_K	8.2 / 10.7 GB	7–11 tok/s	27K	统一内存
能跑但慢	Granite Switch 4.1 8B IBM	8.8B	Q6_K官方	9.3 / 10.7 GB	6–9 tok/s	16K	统一内存
能跑但慢	Qwen3-VL-8B-Instruct Alibaba Qwen	8.8B	Q6_K	8.3 / 10.7 GB	7–11 tok/s	24K	统一内存
能跑但慢	Qwen3-VL-8B-Thinking Alibaba Qwen	8.8B	Q6_K	8.3 / 10.7 GB	7–11 tok/s	24K	统一内存
能跑但慢	Qwen2.5-VL-7B-Instruct Alibaba Qwen	8.3B	Q8_0	9.1 / 10.7 GB	6–10 tok/s	35K	统一内存
能跑但慢	Qwen3-8B Alibaba Qwen	8.2B	MLX 8bit官方	9.5 / 10.7 GB	6–9 tok/s	16K	统一内存
能跑但慢	DeepSeek-R1-Distill-Llama-8B DeepSeek	8B	Q8_0	9.4 / 10.7 GB	6–9 tok/s	17K	统一内存
能跑但慢	Mistral-7B-Instruct-v0.1 Mistral AI	7.2B	Q8_0	8.7 / 10.7 GB	7–10 tok/s	24K	统一内存

按厂商 Hugging Face 仓库的数据估算（截至 2026-11-06）；带筛选的页面不建索引。怎么估算的