纯 CPU · 192 GB 能跑哪些开源模型
- 内存 192 GB DDR5 双通道 · 89.6 GB/s
- 可用 186.0 GB
| 适配 | 模型 | 参数 / 激活 | 推荐精度 | 显存占用 | 估算速度 | 最长上下文 | 运行方式 |
|---|---|---|---|---|---|---|---|
| ●流畅 | ERNIE-5.5-Flash-Base Baidu | 286.2B | Q4_0 | 速度未估算 | 604K | 系统内存 | |
| ●流畅 | Step 3.7 Flash StepFun | 201.4B | Q4_K_M | 13–20 tok/s | 250K | 系统内存 | |
| ●流畅 | Ling-3.0-flash Ant Group | 127.5B / 5.1B | Q4_K_M官方 | 13–19 tok/s | 250K | 系统内存 | |
| ●流畅 | Ling-3.0-flash-VL Ant Group | 124.8B / 5.5B | Q4_0 | 13–19 tok/s | 128K | 系统内存 | |
| ●流畅 | gpt-oss-120b OpenAI | 116.8B / 5.1B | 原生 MXFP4官方 | 14–21 tok/s | 128K | 系统内存 | |
| ●流畅 | Qwen3-Next-80B-A3B-Instruct Alibaba Qwen | 81.3B / 3B | Q8_0官方 | 13–20 tok/s | 256K | 系统内存 | |
| ●流畅 | Qwen3-Next-80B-A3B-Thinking Alibaba Qwen | 81.3B / 3B | Q8_0官方 | 13–20 tok/s | 256K | 系统内存 | |
| ●流畅 | Qwen3-Coder-Next Alibaba Qwen | 79.7B / 3B | Q8_0官方 | 13–20 tok/s | 256K | 系统内存 | |
| ●流畅 | Qwen3.5-35B-A3B Alibaba Qwen | 36B / 3B | Q8_0 | 13–20 tok/s | 256K | 系统内存 | |
| ●流畅 | Qwen3.6-35B-A3B Alibaba Qwen | 36B / 3B | Q8_0 | 13–20 tok/s | 256K | 系统内存 | |
| ●流畅 | Qwen3-Omni-30B-A3B-Captioner Alibaba Qwen | 31.7B | Q4_K_M | 13–19 tok/s | 64K | 系统内存 | |
| ●流畅 | GLM-4.7-Flash Zhipu AI | 31.2B | Q4_0 | 13–20 tok/s | 195K | 系统内存 | |
| ●流畅 | Qwen3-VL-30B-A3B-Instruct Alibaba Qwen | 31.1B | Q5_K_M | 13–19 tok/s | 128K | 系统内存 | |
| ●流畅 | Qwen3-VL-30B-A3B-Thinking Alibaba Qwen | 31.1B | Q5_K_M | 13–19 tok/s | 128K | 系统内存 | |
| ●流畅 | Qwen3-30B-A3B-Instruct-2507 Alibaba Qwen | 30.5B / 3.3B | Q6_K | 13–19 tok/s | 256K | 系统内存 | |
| ●流畅 | Qwen3-30B-A3B-Thinking-2507 Alibaba Qwen | 30.5B / 3.3B | Q6_K | 13–19 tok/s | 256K | 系统内存 | |
| ●流畅 | Qwen3-30B-A3B Alibaba Qwen | 30.5B / 3.3B | Q6_K官方 | 13–19 tok/s | 128K | 系统内存 | |
| ●流畅 | Qwen3-Coder-30B-A3B-Instruct Alibaba Qwen | 30.5B / 3.3B | Q6_K | 13–19 tok/s | 256K | 系统内存 | |
| ●流畅 | Hy-Memory-30B-A3B Tencent | 30.1B / 3B | Q6_K官方 | 14–21 tok/s | 63K | 系统内存 | |
| ●流畅 | Gemma 4 26B A4B IT Google | 25.8B / 3.8B | Q5_K_M | 14–21 tok/s | 250K | 系统内存 | |
| ●流畅 | ERNIE-4.5-21B-A3B-Thinking Baidu | 21.8B / 3B | FP8 | 13–19 tok/s | 128K | 系统内存 | |
| ●流畅 | GPT OSS 20B OpenAI | 20.9B / 3.6B | 原生 MXFP4官方 | 17–26 tok/s | 128K | 系统内存 | |
| ●流畅 | Ling-3.0-tiny Ant Group | 7.9B / 1.3B | 原生 BF16官方 | 16–24 tok/s | 128K | 系统内存 | |
| ●流畅 | Gemma 4 E2B Google | 5.1B | Q4_K_M | 14–21 tok/s | 125K | 系统内存 | |
| ●流畅 | Qwen3.5-4B Alibaba Qwen | 4.7B | Q5_K_M | 13–19 tok/s | 256K | 系统内存 | |
| ●流畅 | Qwen3-VL-4B-Instruct Alibaba Qwen | 4.4B | IQ4_XS | 13–19 tok/s | 250K | 系统内存 | |
| ●流畅 | Qwen3-4B-Instruct-2507 Alibaba Qwen | 4B | Q4_0 | 13–19 tok/s | 256K | 系统内存 | |
| ●流畅 | Qwen3-4B Alibaba Qwen | 4B | Q4_0 | 13–19 tok/s | 128K | 系统内存 | |
| ●流畅 | DeepSeek-OCR DeepSeek | 3.3B | 原生 BF16官方 | 16–24 tok/s | 8K | 系统内存 | |
| ●流畅 | Granite-4.0-H-Micro IBM | 3.2B | Q8_0官方 | 13–19 tok/s | 128K | 系统内存 | |
| ●流畅 | Qwen3-1.7B Alibaba Qwen | 2B | Q8_0官方 | 16–24 tok/s | 40K | 系统内存 | |
| ●流畅 | DeepSeek-R1-Distill-Qwen-1.5B DeepSeek | 1.8B | Q8_0 | 21–32 tok/s | 125K | 系统内存 | |
| ●流畅 | GLM-OCR Zhipu AI | 1.3B | 原生 BF16官方 | 14–21 tok/s | 128K | 系统内存 | |
| ●流畅 | Qwen3-0.6B Alibaba Qwen | 0.8B | 原生 BF16官方 | 18–28 tok/s | 40K | 系统内存 | |
| ●流畅 | EmbeddingGemma 2 Google | 0.7B | 原生 BF16官方 | 28–43 tok/s | 256K | 系统内存 | |
| ●流畅 | Qwen3-Embedding-0.6B Alibaba Qwen | 0.6B | 原生 BF16官方 | 21–32 tok/s | 32K | 系统内存 | |
| ●流畅 | bge-reranker-v2-m3 BAAI | 0.6B | 原生 FP32官方 | 15–22 tok/s | 8K | 系统内存 | |
| ●流畅 | bge-m3-unsupervised BAAI | 0.6B | 原生 FP32官方 | 15–22 tok/s | 8K | 系统内存 | |
| ●流畅 | bge-large-en-v1.5 BAAI | 0.3B | 原生 FP32官方 | 32–48 tok/s | 512 | 系统内存 | |
| ●流畅 | bge-reranker-base BAAI | 0.3B | 原生 FP32官方 | 40–59 tok/s | 514 | 系统内存 | |
| ●流畅 | bge-base-en-v1.5 BAAI | 0.1B | 原生 FP32官方 | 98–147 tok/s | 512 | 系统内存 | |
| ●流畅 | bge-small-en-v1.5 BAAI | 0B | 原生 FP32官方 | 313–470 tok/s | 512 | 系统内存 | |
| ◐能跑但慢 | GLM-5.3-Flash Zhipu AI | 321.3B / 18B | IQ4_XS | 5–7 tok/s | 434K | 系统内存 | |
| ◐能跑但慢 | MiMo-V2.5 Xiaomi | 310.8B / 15B | IQ4_XS | 5–7 tok/s | 174K | 系统内存 | |
| ◐能跑但慢 | DeepSeek-V4-Flash (2026-07-31) DeepSeek | 304.2B | 原生 FP8官方 | 2–4 tok/s | 271K | 系统内存 | |
| ◐能跑但慢 | Hy3 Tencent | 298.8B / 21B | Q4_0 | 3–5 tok/s | 69K | 系统内存 | |
| ◐能跑但慢 | DeepSeek-V4-Flash (2026-04-24) DeepSeek | 290.9B / 13B | 原生 FP8官方 | 6–9 tok/s | 356K | 系统内存 | |
| ◐能跑但慢 | DeepSeek-V4-Flash DeepSeek | 290.9B / 13B | 原生 FP8官方 | 6–9 tok/s | 356K | 系统内存 | |
| ◐能跑但慢 | Qwen3-VL-235B-A22B-Instruct Alibaba Qwen | 235.7B | Q5_K_M | 3–4 tok/s | 120K | 系统内存 | |
| ◐能跑但慢 | Qwen3-VL-235B-A22B-Thinking Alibaba Qwen | 235.7B | Q5_K_M | 3–4 tok/s | 120K | 系统内存 | |
| ◐能跑但慢 | Qwen3-235B-A22B-Instruct-2507 Alibaba Qwen | 235.1B / 22B | Q5_K_M | 3–4 tok/s | 122K | 系统内存 | |
| ◐能跑但慢 | Qwen3-235B-A22B-Thinking-2507 Alibaba Qwen | 235.1B / 22B | Q5_K_M | 3–4 tok/s | 122K | 系统内存 | |
| ◐能跑但慢 | Qwen3-235B-A22B Alibaba Qwen | 235.1B / 22B | Q5_K_M官方 | 3–4 tok/s | 128K | 系统内存 | |
| ◐能跑但慢 | MiniMax-M2.1 MiniMax | 228.7B | Q5_K_M | 5–7 tok/s | 111K | 系统内存 | |
| ◐能跑但慢 | MiniMax-M2.5 MiniMax | 228.7B | Q5_K_M | 5–7 tok/s | 111K | 系统内存 | |
| ◐能跑但慢 | MiniMax-M2.7 MiniMax | 228.7B | Q5_K_M | 5–7 tok/s | 111K | 系统内存 | |
| ◐能跑但慢 | MiniMax-M2 MiniMax | 228.7B / 10B | Q5_K_M | 5–7 tok/s | 111K | 系统内存 | |
| ◐能跑但慢 | MiniMax-M3.1-Flash MiniMax | 220.5B / 23B | Q5_K_M | 3–4 tok/s | 278K | 系统内存 | |
| ◐能跑但慢 | Step 3.5 Flash StepFun | 199.4B / 11B | Q6_K | 4–6 tok/s | 147K | 系统内存 | |
| ◐能跑但慢 | Ming-3.0-audio-flash Ant Group | 128.2B / 6.5B | Q8_0 | 6–9 tok/s | 128K | 系统内存 | |
| ◐能跑但慢 | Qwen3.5-122B-A10B Alibaba Qwen | 125.1B / 10B | Q8_0 | 4–6 tok/s | 256K | 系统内存 | |
| ◐能跑但慢 | GLM-4.5-Air Zhipu AI | 110.5B | Q8_0 | 2–3 tok/s | 125K | 系统内存 | |
| ◐能跑但慢 | GLM-4.5V Zhipu AI | 107.7B / 12B | Q8_0 | 3–5 tok/s | 63K | 系统内存 | |
| ◐能跑但慢 | GLM-4.6V Zhipu AI | 107.7B | Q8_0 | 3–4 tok/s | 125K | 系统内存 | |
| ◐能跑但慢 | Ling-2.6-flash Ant Group | 107.5B / 7.4B | Q8_0 | 5–8 tok/s | 128K | 系统内存 | |
| ◐能跑但慢 | Qwen2.5-VL-72B-Instruct Alibaba Qwen | 73.4B | 原生 BF16官方 | 0–0 tok/s | 125K | 系统内存 | |
| ◐能跑但慢 | Qwen2-VL-72B-Instruct Alibaba Qwen | 73.4B | 原生 BF16官方 | 0–0 tok/s | 32K | 系统内存 | |
| ◐能跑但慢 | Qwen2.5-72B-Instruct Alibaba Qwen | 72.7B | 原生 BF16官方 | 0–0 tok/s | 32K | 系统内存 | |
| ◐能跑但慢 | Qianfan-VL-70B Baidu | 71.8B | 原生 BF16官方 | 0–0 tok/s | 32K | 系统内存 | |
| ◐能跑但慢 | DeepSeek-R1-Distill-Llama-70B DeepSeek | 70.6B | 原生 BF16官方 | 0–0 tok/s | 125K | 系统内存 | |
| ◐能跑但慢 | Qwen2.5-VL-32B-Instruct Alibaba Qwen | 33.5B | 原生 BF16官方 | 1–1 tok/s | 125K | 系统内存 | |
| ◐能跑但慢 | Qwen3-VL-32B-Instruct Alibaba Qwen | 33.4B | 原生 BF16官方 | 1–1 tok/s | 128K | 系统内存 | |
| ◐能跑但慢 | Qwen3-VL-32B-Thinking Alibaba Qwen | 33.4B | 原生 BF16官方 | 1–1 tok/s | 128K | 系统内存 | |
| ◐能跑但慢 | Qwen2.5-32B-Instruct Alibaba Qwen | 32.8B | 原生 BF16官方 | 1–1 tok/s | 32K | 系统内存 | |
| ◐能跑但慢 | Qwen2.5-Coder-32B-Instruct Alibaba Qwen | 32.8B | 原生 BF16官方 | 1–1 tok/s | 32K | 系统内存 | |
| ◐能跑但慢 | QwQ-32B Alibaba Qwen | 32.8B | 原生 BF16官方 | 1–1 tok/s | 40K | 系统内存 | |
| ◐能跑但慢 | DeepSeek-R1-Distill-Qwen-32B DeepSeek | 32.8B | 原生 BF16官方 | 1–1 tok/s | 32K | 系统内存 | |
| ◐能跑但慢 | Qwen3-32B Alibaba Qwen | 32.8B | 原生 BF16官方 | 1–1 tok/s | 128K | 系统内存 | |
| ◐能跑但慢 | Gemma 4 31B IT Google | 31.3B | 原生 BF16官方 | 1–1 tok/s | 250K | 系统内存 | |
| ◐能跑但慢 | Granite Switch 4.1 30B IBM | 30B | 原生 BF16官方 | 1–1 tok/s | 128K | 系统内存 | |
| ◐能跑但慢 | Qwen3.5-27B Alibaba Qwen | 27.8B | 原生 BF16官方 | 1–1 tok/s | 256K | 系统内存 | |
| ◐能跑但慢 | Qwen3.6-27B Alibaba Qwen | 27.8B | 原生 BF16官方 | 1–1 tok/s | 256K | 系统内存 | |
| ◐能跑但慢 | Qwen3.8-27B Alibaba Qwen | 27.8B | 原生 BF16官方 | 1–1 tok/s | 256K | 系统内存 | |
| ◐能跑但慢 | Magistral Small 1.2 Mistral AI | 24B | 原生 BF16官方 | 0–1 tok/s | 125K | 系统内存 | |
| ◐能跑但慢 | Devstral Small 1.0 Mistral AI | 23.6B | 原生 BF16官方 | 0–1 tok/s | 125K | 系统内存 | |
| ◐能跑但慢 | Devstral Small 1.1 Mistral AI | 23.6B | 原生 BF16官方 | 0–1 tok/s | 125K | 系统内存 | |
| ◐能跑但慢 | Magistral Small 1.0 Mistral AI | 23.6B | 原生 BF16官方 | 0–1 tok/s | 39K | 系统内存 | |
| ◐能跑但慢 | Magistral Small 1.1 Mistral AI | 23.6B | 原生 BF16官方 | 0–1 tok/s | 39K | 系统内存 | |
| ◐能跑但慢 | Qwen2.5-14B-Instruct-1M Alibaba Qwen | 14.8B | 原生 BF16官方 | 1–2 tok/s | 837K | 系统内存 | |
| ◐能跑但慢 | Qwen2.5-14B-Instruct Alibaba Qwen | 14.8B | 原生 BF16官方 | 1–2 tok/s | 32K | 系统内存 | |
| ◐能跑但慢 | DeepSeek-R1-Distill-Qwen-14B DeepSeek | 14.8B | 原生 BF16官方 | 1–2 tok/s | 32K | 系统内存 | |
| ◐能跑但慢 | Qwen3-14B Alibaba Qwen | 14.8B | 原生 BF16官方 | 1–2 tok/s | 128K | 系统内存 | |
| ◐能跑但慢 | Gemma 3 12B IT Google | 12.2B | 原生 BF16官方 | 2–2 tok/s | 128K | 系统内存 | |
| ◐能跑但慢 | Qwen2.5-Omni-7B Alibaba Qwen | 10.7B | 原生 BF16官方 | 2–3 tok/s | 32K | 系统内存 | |
| ◐能跑但慢 | GLM-4.6V-Flash Zhipu AI | 10.3B | 原生 BF16官方 | 2–3 tok/s | 125K | 系统内存 | |
| ◐能跑但慢 | Qwen3.5-9B Alibaba Qwen | 9.7B | 原生 BF16官方 | 2–3 tok/s | 256K | 系统内存 | |
| ◐能跑但慢 | Qianfan-VL-8B Baidu | 8.8B | 原生 BF16官方 | 2–4 tok/s | 32K | 系统内存 | |
| ◐能跑但慢 | Granite Switch 4.1 8B IBM | 8.8B | 原生 BF16官方 | 2–4 tok/s | 128K | 系统内存 | |
| ◐能跑但慢 | Qwen3-VL-8B-Instruct Alibaba Qwen | 8.8B | 原生 BF16官方 | 2–4 tok/s | 128K | 系统内存 | |
| ◐能跑但慢 | Qwen3-VL-8B-Thinking Alibaba Qwen | 8.8B | 原生 BF16官方 | 2–4 tok/s | 128K | 系统内存 | |
| ◐能跑但慢 | pplx-embed-v2-context-9b Perplexity | 8.4B | 原生 FP32官方 | 1–2 tok/s | 256K | 系统内存 | |
| ◐能跑但慢 | Qwen2.5-VL-7B-Instruct Alibaba Qwen | 8.3B | 原生 BF16官方 | 3–4 tok/s | 125K | 系统内存 | |
| ◐能跑但慢 | Qwen3-8B Alibaba Qwen | 8.2B | 原生 BF16官方 | 3–4 tok/s | 128K | 系统内存 | |
| ◐能跑但慢 | DeepSeek-R1-Distill-Llama-8B DeepSeek | 8B | 原生 BF16官方 | 3–4 tok/s | 125K | 系统内存 | |
| ◐能跑但慢 | Gemma 4 E4B Google | 8B | 原生 BF16官方 | 3–4 tok/s | 125K | 系统内存 | |
| ◐能跑但慢 | Qwen2.5-7B-Instruct-1M Alibaba Qwen | 7.6B | 原生 BF16官方 | 3–4 tok/s | 977K | 系统内存 | |
| ◐能跑但慢 | Qwen2.5-7B-Instruct Alibaba Qwen | 7.6B | 原生 BF16官方 | 3–4 tok/s | 32K | 系统内存 | |
| ◐能跑但慢 | DeepSeek-R1-Distill-Qwen-7B DeepSeek | 7.6B | 原生 BF16官方 | 3–4 tok/s | 32K | 系统内存 | |
| ◐能跑但慢 | Mistral-7B-Instruct-v0.1 Mistral AI | 7.2B | 原生 BF16官方 | 3–4 tok/s | 32K | 系统内存 | |
| ◐能跑但慢 | WeVisOne-VL-4B Tencent | 4.8B | 原生 BF16官方 | 4–6 tok/s | 256K | 系统内存 | |
| ◐能跑但慢 | Qianfan-OCR Baidu | 4.7B | 原生 BF16官方 | 4–6 tok/s | 31K | 系统内存 |
按厂商 Hugging Face 仓库的数据估算（截至 2026-11-06）；带筛选的页面不建索引。 怎么估算的