AI Index

纯 CPU · 256 GB 能跑哪些开源模型

  • 内存 256 GB DDR5 双通道 · 89.6 GB/s
  • 可用 250.0 GB
适配模型参数 / 激活推荐精度显存占用估算速度最长上下文运行方式
流畅ERNIE-5.5-Flash-Base Baidu286.2BQ5_K_M199.5 / 250.0 GB速度未估算1024K系统内存
流畅Step 3.7 Flash StepFun201.4BQ4_K_M121.0 / 250.0 GB13–20 tok/s250K系统内存
流畅Ling-3.0-flash Ant Group127.5B / 5.1BQ4_K_M官方75.7 / 250.0 GB13–19 tok/s250K系统内存
流畅Ling-3.0-flash-VL Ant Group124.8B / 5.5BQ4_069.0 / 250.0 GB13–19 tok/s128K系统内存
流畅gpt-oss-120b OpenAI116.8B / 5.1B原生 MXFP4官方64.1 / 250.0 GB14–21 tok/s128K系统内存
流畅Qwen3-Next-80B-A3B-Instruct Alibaba Qwen81.3B / 3BQ8_0官方83.1 / 250.0 GB13–20 tok/s256K系统内存
流畅Qwen3-Next-80B-A3B-Thinking Alibaba Qwen81.3B / 3BQ8_0官方83.1 / 250.0 GB13–20 tok/s256K系统内存
流畅Qwen3-Coder-Next Alibaba Qwen79.7B / 3BQ8_0官方83.1 / 250.0 GB13–20 tok/s256K系统内存
流畅Qwen3.5-35B-A3B Alibaba Qwen36B / 3BQ8_037.5 / 250.0 GB13–20 tok/s256K系统内存
流畅Qwen3.6-35B-A3B Alibaba Qwen36B / 3BQ8_037.5 / 250.0 GB13–20 tok/s256K系统内存
流畅Qwen3-Omni-30B-A3B-Captioner Alibaba Qwen31.7BQ4_K_M19.6 / 250.0 GB13–19 tok/s64K系统内存
流畅GLM-4.7-Flash Zhipu AI31.2BQ4_017.6 / 250.0 GB13–20 tok/s195K系统内存
流畅Qwen3-VL-30B-A3B-Instruct Alibaba Qwen31.1BQ5_K_M22.4 / 250.0 GB13–19 tok/s128K系统内存
流畅Qwen3-VL-30B-A3B-Thinking Alibaba Qwen31.1BQ5_K_M22.4 / 250.0 GB13–19 tok/s128K系统内存
流畅Qwen3-30B-A3B-Instruct-2507 Alibaba Qwen30.5B / 3.3BQ6_K25.3 / 250.0 GB13–19 tok/s256K系统内存
流畅Qwen3-30B-A3B-Thinking-2507 Alibaba Qwen30.5B / 3.3BQ6_K25.3 / 250.0 GB13–19 tok/s256K系统内存
流畅Qwen3-30B-A3B Alibaba Qwen30.5B / 3.3BQ6_K官方25.3 / 250.0 GB13–19 tok/s128K系统内存
流畅Qwen3-Coder-30B-A3B-Instruct Alibaba Qwen30.5B / 3.3BQ6_K25.3 / 250.0 GB13–19 tok/s256K系统内存
流畅Hy-Memory-30B-A3B Tencent30.1B / 3BQ6_K官方24.9 / 250.0 GB14–21 tok/s63K系统内存
流畅Gemma 4 26B A4B IT Google25.8B / 3.8BQ5_K_M18.5 / 250.0 GB14–21 tok/s250K系统内存
流畅ERNIE-4.5-21B-A3B-Thinking Baidu21.8B / 3BFP821.8 / 250.0 GB13–19 tok/s128K系统内存
流畅GPT OSS 20B OpenAI20.9B / 3.6B原生 MXFP4官方13.6 / 250.0 GB17–26 tok/s128K系统内存
流畅Ling-3.0-tiny Ant Group7.9B / 1.3B原生 BF16官方15.6 / 250.0 GB16–24 tok/s128K系统内存
流畅Gemma 4 E2B Google5.1BQ4_K_M3.5 / 250.0 GB14–21 tok/s125K系统内存
流畅Qwen3.5-4B Alibaba Qwen4.7BQ5_K_M3.8 / 250.0 GB13–19 tok/s256K系统内存
流畅Qwen3-VL-4B-Instruct Alibaba Qwen4.4BIQ4_XS3.8 / 250.0 GB13–19 tok/s250K系统内存
流畅Qwen3-4B-Instruct-2507 Alibaba Qwen4BQ4_03.7 / 250.0 GB13–19 tok/s256K系统内存
流畅Qwen3-4B Alibaba Qwen4BQ4_03.7 / 250.0 GB13–19 tok/s128K系统内存
流畅DeepSeek-OCR DeepSeek3.3B原生 BF16官方7.2 / 250.0 GB16–24 tok/s8K系统内存
流畅Granite-4.0-H-Micro IBM3.2BQ8_0官方3.7 / 250.0 GB13–19 tok/s128K系统内存
流畅Qwen3-1.7B Alibaba Qwen2BQ8_0官方3.1 / 250.0 GB16–24 tok/s40K系统内存
流畅DeepSeek-R1-Distill-Qwen-1.5B DeepSeek1.8BQ8_02.5 / 250.0 GB21–32 tok/s125K系统内存
流畅GLM-OCR Zhipu AI1.3B原生 BF16官方3.5 / 250.0 GB14–21 tok/s128K系统内存
流畅Qwen3-0.6B Alibaba Qwen0.8B原生 BF16官方2.8 / 250.0 GB18–28 tok/s40K系统内存
流畅EmbeddingGemma 2 Google0.7B原生 BF16官方2.0 / 250.0 GB28–43 tok/s256K系统内存
流畅Qwen3-Embedding-0.6B Alibaba Qwen0.6B原生 BF16官方2.5 / 250.0 GB21–32 tok/s32K系统内存
流畅bge-reranker-v2-m3 BAAI0.6B原生 FP32官方3.4 / 250.0 GB15–22 tok/s8K系统内存
流畅bge-m3-unsupervised BAAI0.6B原生 FP32官方3.4 / 250.0 GB15–22 tok/s8K系统内存
流畅bge-large-en-v1.5 BAAI0.3B原生 FP32官方1.8 / 250.0 GB32–48 tok/s512系统内存
流畅bge-reranker-base BAAI0.3B原生 FP32官方1.6 / 250.0 GB40–59 tok/s514系统内存
流畅bge-base-en-v1.5 BAAI0.1B原生 FP32官方0.9 / 250.0 GB98–147 tok/s512系统内存
流畅bge-small-en-v1.5 BAAI0B原生 FP32官方0.6 / 250.0 GB313–470 tok/s512系统内存
能跑但慢MiniMax-M3 MiniMax427B / 23BIQ4_XS222.8 / 250.0 GB3–5 tok/s240K系统内存
能跑但慢Qwen3.5-397B-A17B Alibaba Qwen403.4B / 17BQ4_0222.1 / 250.0 GB5–7 tok/s256K系统内存
能跑但慢GLM-4.5 Zhipu AI358.3BQ4_K_M215.8 / 250.0 GB2–2 tok/s103K系统内存
能跑但慢GLM-4.7 Zhipu AI358.3BQ4_K_M215.8 / 250.0 GB2–2 tok/s103K系统内存
能跑但慢GLM-4.6 Zhipu AI356.8BQ4_K_M214.8 / 250.0 GB2–3 tok/s106K系统内存
能跑但慢GLM-5.3-Flash Zhipu AI321.3B / 18BQ5_K_M223.8 / 250.0 GB3–5 tok/s603K系统内存
能跑但慢MiMo-V2.5 Xiaomi310.8B / 15BQ5_K_M217.3 / 250.0 GB4–6 tok/s241K系统内存
能跑但慢DeepSeek-V4-Flash (2026-07-31) DeepSeek304.2B原生 FP8官方163.9 / 250.0 GB2–4 tok/s977K系统内存
能跑但慢Hy3 Tencent298.8B / 21BQ5_K_M210.3 / 250.0 GB3–4 tok/s135K系统内存
能跑但慢DeepSeek-V4-Flash (2026-04-24) DeepSeek290.9B / 13B原生 FP8官方156.8 / 250.0 GB6–9 tok/s1024K系统内存
能跑但慢DeepSeek-V4-Flash DeepSeek290.9B / 13B原生 FP8官方156.8 / 250.0 GB6–9 tok/s977K系统内存
能跑但慢Qwen3-VL-235B-A22B-Instruct Alibaba Qwen235.7BQ6_K190.7 / 250.0 GB2–3 tok/s128K系统内存
能跑但慢Qwen3-VL-235B-A22B-Thinking Alibaba Qwen235.7BQ6_K190.7 / 250.0 GB2–3 tok/s128K系统内存
能跑但慢Qwen3-235B-A22B-Instruct-2507 Alibaba Qwen235.1B / 22BQ6_K190.3 / 250.0 GB2–3 tok/s256K系统内存
能跑但慢Qwen3-235B-A22B-Thinking-2507 Alibaba Qwen235.1B / 22BQ6_K190.3 / 250.0 GB2–3 tok/s256K系统内存
能跑但慢Qwen3-235B-A22B Alibaba Qwen235.1B / 22BQ6_K官方190.2 / 250.0 GB2–3 tok/s128K系统内存
能跑但慢MiniMax-M2.1 MiniMax228.7BQ6_K185.6 / 250.0 GB4–6 tok/s192K系统内存
能跑但慢MiniMax-M2.5 MiniMax228.7BQ6_K185.6 / 250.0 GB4–6 tok/s192K系统内存
能跑但慢MiniMax-M2.7 MiniMax228.7BQ6_K185.6 / 250.0 GB4–6 tok/s200K系统内存
能跑但慢MiniMax-M2 MiniMax228.7B / 10BQ6_K185.6 / 250.0 GB4–7 tok/s192K系统内存
能跑但慢MiniMax-M3.1-Flash MiniMax220.5B / 23BFP8216.6 / 250.0 GB2–3 tok/s293K系统内存
能跑但慢Step 3.5 Flash StepFun199.4B / 11BQ8_0208.6 / 250.0 GB3–5 tok/s244K系统内存
能跑但慢Ming-3.0-audio-flash Ant Group128.2B / 6.5BQ8_0133.6 / 250.0 GB6–9 tok/s128K系统内存
能跑但慢Qwen3.5-122B-A10B Alibaba Qwen125.1B / 10BQ8_0130.2 / 250.0 GB4–6 tok/s256K系统内存
能跑但慢GLM-4.5-Air Zhipu AI110.5B原生 BF16官方217.5 / 250.0 GB1–2 tok/s125K系统内存
能跑但慢GLM-4.5V Zhipu AI107.7B / 12B原生 BF16官方212.1 / 250.0 GB2–3 tok/s63K系统内存
能跑但慢GLM-4.6V Zhipu AI107.7B原生 BF16官方212.1 / 250.0 GB1–2 tok/s125K系统内存
能跑但慢Ling-2.6-flash Ant Group107.5B / 7.4B原生 BF16官方210.5 / 250.0 GB3–4 tok/s128K系统内存
能跑但慢Qwen2.5-VL-72B-Instruct Alibaba Qwen73.4B原生 BF16官方146.1 / 250.0 GB0–0 tok/s125K系统内存
能跑但慢Qwen2-VL-72B-Instruct Alibaba Qwen73.4B原生 BF16官方146.1 / 250.0 GB0–0 tok/s32K系统内存
能跑但慢Qwen2.5-72B-Instruct Alibaba Qwen72.7B原生 BF16官方144.7 / 250.0 GB0–0 tok/s32K系统内存
能跑但慢Qianfan-VL-70B Baidu71.8B原生 BF16官方143.0 / 250.0 GB0–0 tok/s32K系统内存
能跑但慢DeepSeek-R1-Distill-Llama-70B DeepSeek70.6B原生 BF16官方140.5 / 250.0 GB0–0 tok/s125K系统内存
能跑但慢Qwen2.5-VL-32B-Instruct Alibaba Qwen33.5B原生 BF16官方68.8 / 250.0 GB1–1 tok/s125K系统内存
能跑但慢Qwen3-VL-32B-Instruct Alibaba Qwen33.4B原生 BF16官方67.2 / 250.0 GB1–1 tok/s128K系统内存
能跑但慢Qwen3-VL-32B-Thinking Alibaba Qwen33.4B原生 BF16官方67.2 / 250.0 GB1–1 tok/s128K系统内存
能跑但慢Qwen2.5-32B-Instruct Alibaba Qwen32.8B原生 BF16官方66.1 / 250.0 GB1–1 tok/s32K系统内存
能跑但慢Qwen2.5-Coder-32B-Instruct Alibaba Qwen32.8B原生 BF16官方66.1 / 250.0 GB1–1 tok/s32K系统内存
能跑但慢QwQ-32B Alibaba Qwen32.8B原生 BF16官方66.1 / 250.0 GB1–1 tok/s40K系统内存
能跑但慢DeepSeek-R1-Distill-Qwen-32B DeepSeek32.8B原生 BF16官方66.1 / 250.0 GB1–1 tok/s32K系统内存
能跑但慢Qwen3-32B Alibaba Qwen32.8B原生 BF16官方66.1 / 250.0 GB1–1 tok/s128K系统内存
能跑但慢Gemma 4 31B IT Google31.3B原生 BF16官方63.2 / 250.0 GB1–1 tok/s250K系统内存
能跑但慢Granite Switch 4.1 30B IBM30B原生 BF16官方60.7 / 250.0 GB1–1 tok/s128K系统内存
能跑但慢Qwen3.5-27B Alibaba Qwen27.8B原生 BF16官方54.8 / 250.0 GB1–1 tok/s256K系统内存
能跑但慢Qwen3.6-27B Alibaba Qwen27.8B原生 BF16官方54.8 / 250.0 GB1–1 tok/s256K系统内存
能跑但慢Qwen3.8-27B Alibaba Qwen27.8B原生 BF16官方54.8 / 250.0 GB1–1 tok/s256K系统内存
能跑但慢Magistral Small 1.2 Mistral AI24B原生 BF16官方95.2 / 250.0 GB0–1 tok/s125K系统内存
能跑但慢Devstral Small 1.0 Mistral AI23.6B原生 BF16官方93.5 / 250.0 GB0–1 tok/s125K系统内存
能跑但慢Devstral Small 1.1 Mistral AI23.6B原生 BF16官方93.5 / 250.0 GB0–1 tok/s125K系统内存
能跑但慢Magistral Small 1.0 Mistral AI23.6B原生 BF16官方93.5 / 250.0 GB0–1 tok/s39K系统内存
能跑但慢Magistral Small 1.1 Mistral AI23.6B原生 BF16官方93.5 / 250.0 GB0–1 tok/s39K系统内存
能跑但慢Qwen2.5-14B-Instruct-1M Alibaba Qwen14.8B原生 BF16官方30.4 / 250.0 GB1–2 tok/s977K系统内存
能跑但慢Qwen2.5-14B-Instruct Alibaba Qwen14.8B原生 BF16官方30.4 / 250.0 GB1–2 tok/s32K系统内存
能跑但慢DeepSeek-R1-Distill-Qwen-14B DeepSeek14.8B原生 BF16官方30.4 / 250.0 GB1–2 tok/s32K系统内存
能跑但慢Qwen3-14B Alibaba Qwen14.8B原生 BF16官方30.1 / 250.0 GB1–2 tok/s128K系统内存
能跑但慢Gemma 3 12B IT Google12.2B原生 BF16官方26.6 / 250.0 GB2–2 tok/s128K系统内存
能跑但慢Qwen2.5-Omni-7B Alibaba Qwen10.7B原生 BF16官方22.3 / 250.0 GB2–3 tok/s32K系统内存
能跑但慢GLM-4.6V-Flash Zhipu AI10.3B原生 BF16官方20.4 / 250.0 GB2–3 tok/s125K系统内存
能跑但慢Qwen3.5-9B Alibaba Qwen9.7B原生 BF16官方19.1 / 250.0 GB2–3 tok/s256K系统内存
能跑但慢Qianfan-VL-8B Baidu8.8B原生 BF16官方18.2 / 250.0 GB2–4 tok/s32K系统内存
能跑但慢Granite Switch 4.1 8B IBM8.8B原生 BF16官方18.5 / 250.0 GB2–4 tok/s128K系统内存
能跑但慢Qwen3-VL-8B-Instruct Alibaba Qwen8.8B原生 BF16官方18.3 / 250.0 GB2–4 tok/s128K系统内存
能跑但慢Qwen3-VL-8B-Thinking Alibaba Qwen8.8B原生 BF16官方18.3 / 250.0 GB2–4 tok/s128K系统内存
能跑但慢pplx-embed-v2-context-9b Perplexity8.4B原生 FP32官方33.1 / 250.0 GB1–2 tok/s256K系统内存
能跑但慢Qwen2.5-VL-7B-Instruct Alibaba Qwen8.3B原生 BF16官方16.7 / 250.0 GB3–4 tok/s125K系统内存
能跑但慢Qwen3-8B Alibaba Qwen8.2B原生 BF16官方17.1 / 250.0 GB3–4 tok/s128K系统内存
能跑但慢DeepSeek-R1-Distill-Llama-8B DeepSeek8B原生 BF16官方16.7 / 250.0 GB3–4 tok/s125K系统内存
能跑但慢Gemma 4 E4B Google8B原生 BF16官方15.8 / 250.0 GB3–4 tok/s125K系统内存
能跑但慢Qwen2.5-7B-Instruct-1M Alibaba Qwen7.6B原生 BF16官方15.3 / 250.0 GB3–4 tok/s977K系统内存
能跑但慢Qwen2.5-7B-Instruct Alibaba Qwen7.6B原生 BF16官方15.3 / 250.0 GB3–4 tok/s32K系统内存
能跑但慢DeepSeek-R1-Distill-Qwen-7B DeepSeek7.6B原生 BF16官方15.3 / 250.0 GB3–4 tok/s32K系统内存
能跑但慢Mistral-7B-Instruct-v0.1 Mistral AI7.2B原生 BF16官方15.2 / 250.0 GB3–4 tok/s32K系统内存
能跑但慢WeVisOne-VL-4B Tencent4.8B原生 BF16官方10.6 / 250.0 GB4–6 tok/s256K系统内存
能跑但慢Qianfan-OCR Baidu4.7B原生 BF16官方10.5 / 250.0 GB4–6 tok/s31K系统内存

按厂商 Hugging Face 仓库的数据估算（截至 2026-11-06）；带筛选的页面不建索引。 怎么估算的