NVIDIA B200 (HGX B200) 能跑哪些开源模型

显存 180 GB
带宽 8000 GB/s
可用 162.0 GB

规格出处: 显存 · Components — NVIDIA HGX AI Factory (HGX H100, H200, B200) · 带宽 · Components — NVIDIA HGX AI Factory (HGX H100, H200, B200)

搜索精度上下文并发最低速度结构类型厂商排序

适配	模型	参数 / 激活	推荐精度	显存占用	估算速度	最长上下文	运行方式
流畅	DeepSeek-V4-Flash (2026-07-31) DeepSeek	304.2B	IQ4_XS	158.7 / 162.0 GB	215–323 tok/s	47K	单卡
流畅	Hy3 Tencent	298.8B / 21B	IQ4_XS	157.7 / 162.0 GB	289–434 tok/s	21K	单卡
流畅	DeepSeek-V4-Flash (2026-04-24) DeepSeek	290.9B / 13B	原生 FP8官方	156.8 / 162.0 GB	509–764 tok/s	70K	单卡
流畅	DeepSeek-V4-Flash DeepSeek	290.9B / 13B	原生 FP8官方	156.8 / 162.0 GB	509–764 tok/s	70K	单卡
流畅	ERNIE-5.5-Flash-Base Baidu	286.2B	Q4_0	157.8 / 162.0 GB	速度未估算	96K	单卡
流畅	Qwen3-VL-235B-A22B-Instruct Alibaba Qwen	235.7B	Q4_K_M	141.5 / 162.0 GB	260–389 tok/s	120K	单卡
流畅	Qwen3-VL-235B-A22B-Thinking Alibaba Qwen	235.7B	Q4_K_M	141.5 / 162.0 GB	260–389 tok/s	120K	单卡
流畅	Qwen3-235B-A22B-Instruct-2507 Alibaba Qwen	235.1B / 22B	Q4_K_M	141.1 / 162.0 GB	268–402 tok/s	122K	单卡
流畅	Qwen3-235B-A22B-Thinking-2507 Alibaba Qwen	235.1B / 22B	Q4_K_M	141.1 / 162.0 GB	268–402 tok/s	122K	单卡
流畅	Qwen3-235B-A22B Alibaba Qwen	235.1B / 22B	Q4_K_M官方	140.5 / 162.0 GB	269–403 tok/s	128K	单卡
流畅	MiniMax-M2.1 MiniMax	228.7B	Q4_K_M	137.8 / 162.0 GB	456–683 tok/s	108K	单卡
流畅	MiniMax-M2.5 MiniMax	228.7B	Q4_K_M	137.8 / 162.0 GB	456–683 tok/s	108K	单卡
流畅	MiniMax-M2.7 MiniMax	228.7B	Q4_K_M	137.8 / 162.0 GB	456–683 tok/s	108K	单卡
流畅	MiniMax-M2 MiniMax	228.7B / 10B	Q4_K_M	137.8 / 162.0 GB	490–736 tok/s	108K	单卡
流畅	MiniMax-M3.1-Flash MiniMax	220.5B / 23B	Q4_K_M	131.9 / 162.0 GB	267–401 tok/s	264K	单卡
流畅	Step 3.7 Flash StepFun	201.4B	Q5_K_M	141.5 / 162.0 GB	1060–1589 tok/s	125K	单卡
流畅	Step 3.5 Flash StepFun	199.4B / 11B	Q5_K_M	140.1 / 162.0 GB	429–643 tok/s	132K	单卡
流畅	Ming-3.0-audio-flash Ant Group	128.2B / 6.5B	Q8_0	133.6 / 162.0 GB	548–822 tok/s	128K	单卡
流畅	Ling-3.0-flash Ant Group	127.5B / 5.1B	Q8_0官方	133.0 / 162.0 GB	687–1031 tok/s	250K	单卡
流畅	Qwen3.5-122B-A10B Alibaba Qwen	125.1B / 10B	Q8_0	130.2 / 162.0 GB	369–554 tok/s	256K	单卡
流畅	Ling-3.0-flash-VL Ant Group	124.8B / 5.5B	Q8_0	130.1 / 162.0 GB	641–962 tok/s	128K	单卡
流畅	gpt-oss-120b OpenAI	116.8B / 5.1B	原生 MXFP4官方	64.1 / 162.0 GB	1268–1902 tok/s	128K	单卡
流畅	GLM-4.5-Air Zhipu AI	110.5B	Q8_0	116.2 / 162.0 GB	204–305 tok/s	125K	单卡
流畅	GLM-4.5V Zhipu AI	107.7B / 12B	Q8_0	113.3 / 162.0 GB	280–420 tok/s	63K	单卡
流畅	GLM-4.6V Zhipu AI	107.7B	Q8_0	113.3 / 162.0 GB	239–359 tok/s	125K	单卡
流畅	Ling-2.6-flash Ant Group	107.5B / 7.4B	Q8_0	112.0 / 162.0 GB	490–735 tok/s	128K	单卡
流畅	Qwen3-Next-80B-A3B-Instruct Alibaba Qwen	81.3B / 3B	Q8_0官方	83.1 / 162.0 GB	1201–1802 tok/s	256K	单卡
流畅	Qwen3-Next-80B-A3B-Thinking Alibaba Qwen	81.3B / 3B	Q8_0官方	83.1 / 162.0 GB	1201–1802 tok/s	256K	单卡
流畅	Qwen3-Coder-Next Alibaba Qwen	79.7B / 3B	Q8_0官方	83.1 / 162.0 GB	1178–1767 tok/s	256K	单卡
流畅	Qwen2.5-VL-72B-Instruct Alibaba Qwen	73.4B	Q8_0	78.8 / 162.0 GB	50–74 tok/s	125K	单卡
流畅	Qwen2-VL-72B-Instruct Alibaba Qwen	73.4B	Q8_0	78.8 / 162.0 GB	50–74 tok/s	32K	单卡
流畅	Qwen2.5-72B-Instruct Alibaba Qwen	72.7B	原生 BF16官方	144.7 / 162.0 GB	27–41 tok/s	32K	单卡
流畅	Qianfan-VL-70B Baidu	71.8B	原生 BF16官方	143.0 / 162.0 GB	27–41 tok/s	32K	单卡
流畅	DeepSeek-R1-Distill-Llama-70B DeepSeek	70.6B	原生 BF16官方	140.5 / 162.0 GB	28–42 tok/s	77K	单卡
流畅	Qwen3.5-35B-A3B Alibaba Qwen	36B / 3B	原生 BF16官方	70.5 / 162.0 GB	649–973 tok/s	256K	单卡
流畅	Qwen3.6-35B-A3B Alibaba Qwen	36B / 3B	原生 BF16官方	70.5 / 162.0 GB	649–973 tok/s	256K	单卡
流畅	Qwen2.5-VL-32B-Instruct Alibaba Qwen	33.5B	原生 BF16官方	68.8 / 162.0 GB	57–85 tok/s	125K	单卡
流畅	Qwen3-VL-32B-Instruct Alibaba Qwen	33.4B	原生 BF16官方	67.2 / 162.0 GB	58–87 tok/s	128K	单卡
流畅	Qwen3-VL-32B-Thinking Alibaba Qwen	33.4B	原生 BF16官方	67.2 / 162.0 GB	58–87 tok/s	128K	单卡
流畅	Qwen2.5-32B-Instruct Alibaba Qwen	32.8B	原生 BF16官方	66.1 / 162.0 GB	59–89 tok/s	32K	单卡
流畅	Qwen2.5-Coder-32B-Instruct Alibaba Qwen	32.8B	原生 BF16官方	66.1 / 162.0 GB	59–89 tok/s	32K	单卡
流畅	QwQ-32B Alibaba Qwen	32.8B	原生 BF16官方	66.1 / 162.0 GB	59–89 tok/s	40K	单卡
流畅	DeepSeek-R1-Distill-Qwen-32B DeepSeek	32.8B	原生 BF16官方	66.1 / 162.0 GB	59–89 tok/s	32K	单卡
流畅	Qwen3-32B Alibaba Qwen	32.8B	原生 BF16官方	66.1 / 162.0 GB	59–89 tok/s	128K	单卡
流畅	Qwen3-Omni-30B-A3B-Captioner Alibaba Qwen	31.7B	原生 BF16官方	62.8 / 162.0 GB	405–607 tok/s	64K	单卡
流畅	Gemma 4 31B IT Google	31.3B	原生 BF16官方	63.2 / 162.0 GB	62–93 tok/s	250K	单卡
流畅	GLM-4.7-Flash Zhipu AI	31.2B	原生 BF16官方	61.5 / 162.0 GB	371–556 tok/s	195K	单卡
流畅	Qwen3-VL-30B-A3B-Instruct Alibaba Qwen	31.1B	原生 BF16官方	61.5 / 162.0 GB	466–699 tok/s	128K	单卡
流畅	Qwen3-VL-30B-A3B-Thinking Alibaba Qwen	31.1B	原生 BF16官方	61.5 / 162.0 GB	466–699 tok/s	128K	单卡
流畅	Qwen3-30B-A3B-Instruct-2507 Alibaba Qwen	30.5B / 3.3B	原生 BF16官方	60.5 / 162.0 GB	540–810 tok/s	256K	单卡
流畅	Qwen3-30B-A3B-Thinking-2507 Alibaba Qwen	30.5B / 3.3B	原生 BF16官方	60.5 / 162.0 GB	540–810 tok/s	256K	单卡
流畅	Qwen3-30B-A3B Alibaba Qwen	30.5B / 3.3B	原生 BF16官方	60.5 / 162.0 GB	540–810 tok/s	128K	单卡
流畅	Qwen3-Coder-30B-A3B-Instruct Alibaba Qwen	30.5B / 3.3B	原生 BF16官方	60.5 / 162.0 GB	540–810 tok/s	256K	单卡
流畅	Hy-Memory-30B-A3B Tencent	30.1B / 3B	原生 BF16官方	59.6 / 162.0 GB	588–882 tok/s	63K	单卡
流畅	Granite Switch 4.1 30B IBM	30B	原生 BF16官方	60.7 / 162.0 GB	64–96 tok/s	128K	单卡
流畅	Qwen3.5-27B Alibaba Qwen	27.8B	原生 BF16官方	54.8 / 162.0 GB	71–107 tok/s	256K	单卡
流畅	Qwen3.6-27B Alibaba Qwen	27.8B	原生 BF16官方	54.8 / 162.0 GB	71–107 tok/s	256K	单卡
流畅	Qwen3.8-27B Alibaba Qwen	27.8B	原生 BF16官方	54.8 / 162.0 GB	71–107 tok/s	256K	单卡
流畅	Gemma 4 26B A4B IT Google	25.8B / 3.8B	原生 BF16官方	51.0 / 162.0 GB	491–737 tok/s	250K	单卡
流畅	Magistral Small 1.2 Mistral AI	24B	原生 BF16官方	95.2 / 162.0 GB	41–62 tok/s	125K	单卡
流畅	Devstral Small 1.0 Mistral AI	23.6B	原生 BF16官方	93.5 / 162.0 GB	42–63 tok/s	125K	单卡
流畅	Devstral Small 1.1 Mistral AI	23.6B	原生 BF16官方	93.5 / 162.0 GB	42–63 tok/s	125K	单卡
流畅	Magistral Small 1.0 Mistral AI	23.6B	原生 BF16官方	93.5 / 162.0 GB	42–63 tok/s	39K	单卡
流畅	Magistral Small 1.1 Mistral AI	23.6B	原生 BF16官方	93.5 / 162.0 GB	42–63 tok/s	39K	单卡
流畅	ERNIE-4.5-21B-A3B-Thinking Baidu	21.8B / 3B	原生 BF16官方	43.1 / 162.0 GB	618–927 tok/s	128K	单卡
流畅	GPT OSS 20B OpenAI	20.9B / 3.6B	原生 MXFP4官方	13.6 / 162.0 GB	1555–2332 tok/s	128K	单卡
流畅	Qwen2.5-14B-Instruct-1M Alibaba Qwen	14.8B	原生 BF16官方	30.4 / 162.0 GB	128–193 tok/s	710K	单卡
流畅	Qwen2.5-14B-Instruct Alibaba Qwen	14.8B	原生 BF16官方	30.4 / 162.0 GB	128–193 tok/s	32K	单卡
流畅	DeepSeek-R1-Distill-Qwen-14B DeepSeek	14.8B	原生 BF16官方	30.4 / 162.0 GB	128–193 tok/s	32K	单卡
流畅	Qwen3-14B Alibaba Qwen	14.8B	原生 BF16官方	30.1 / 162.0 GB	130–194 tok/s	128K	单卡
流畅	Gemma 3 12B IT Google	12.2B	原生 BF16官方	26.6 / 162.0 GB	146–219 tok/s	128K	单卡
流畅	Qwen2.5-Omni-7B Alibaba Qwen	10.7B	原生 BF16官方	22.3 / 162.0 GB	175–263 tok/s	32K	单卡
流畅	GLM-4.6V-Flash Zhipu AI	10.3B	原生 BF16官方	20.4 / 162.0 GB	191–287 tok/s	125K	单卡
流畅	Qwen3.5-9B Alibaba Qwen	9.7B	原生 BF16官方	19.1 / 162.0 GB	204–307 tok/s	256K	单卡
流畅	Qianfan-VL-8B Baidu	8.8B	原生 BF16官方	18.2 / 162.0 GB	214–321 tok/s	32K	单卡
流畅	Granite Switch 4.1 8B IBM	8.8B	原生 BF16官方	18.5 / 162.0 GB	211–316 tok/s	128K	单卡
流畅	Qwen3-VL-8B-Instruct Alibaba Qwen	8.8B	原生 BF16官方	18.3 / 162.0 GB	213–320 tok/s	128K	单卡
流畅	Qwen3-VL-8B-Thinking Alibaba Qwen	8.8B	原生 BF16官方	18.3 / 162.0 GB	213–320 tok/s	128K	单卡
流畅	pplx-embed-v2-context-9b Perplexity	8.4B	原生 FP32官方	33.1 / 162.0 GB	118–177 tok/s	256K	单卡
流畅	Qwen2.5-VL-7B-Instruct Alibaba Qwen	8.3B	原生 BF16官方	16.7 / 162.0 GB	235–352 tok/s	125K	单卡
流畅	Qwen3-8B Alibaba Qwen	8.2B	原生 BF16官方	17.1 / 162.0 GB	227–341 tok/s	128K	单卡
流畅	DeepSeek-R1-Distill-Llama-8B DeepSeek	8B	原生 BF16官方	16.7 / 162.0 GB	233–350 tok/s	125K	单卡
流畅	Gemma 4 E4B Google	8B	原生 BF16官方	15.8 / 162.0 GB	248–372 tok/s	125K	单卡
流畅	Ling-3.0-tiny Ant Group	7.9B / 1.3B	原生 BF16官方	15.6 / 162.0 GB	1415–2123 tok/s	128K	单卡
流畅	Qwen2.5-7B-Instruct-1M Alibaba Qwen	7.6B	原生 BF16官方	15.3 / 162.0 GB	255–382 tok/s	977K	单卡
流畅	Qwen2.5-7B-Instruct Alibaba Qwen	7.6B	原生 BF16官方	15.3 / 162.0 GB	255–382 tok/s	32K	单卡
流畅	DeepSeek-R1-Distill-Qwen-7B DeepSeek	7.6B	原生 BF16官方	15.3 / 162.0 GB	255–382 tok/s	32K	单卡
流畅	Mistral-7B-Instruct-v0.1 Mistral AI	7.2B	原生 BF16官方	15.2 / 162.0 GB	257–386 tok/s	32K	单卡
流畅	Gemma 4 E2B Google	5.1B	原生 BF16官方	10.1 / 162.0 GB	388–581 tok/s	125K	单卡
流畅	WeVisOne-VL-4B Tencent	4.8B	原生 BF16官方	10.6 / 162.0 GB	368–552 tok/s	256K	单卡
流畅	Qianfan-OCR Baidu	4.7B	原生 BF16官方	10.5 / 162.0 GB	374–561 tok/s	31K	单卡
流畅	Qwen3.5-4B Alibaba Qwen	4.7B	原生 BF16官方	9.4 / 162.0 GB	417–626 tok/s	256K	单卡
流畅	Qwen3-VL-4B-Instruct Alibaba Qwen	4.4B	原生 BF16官方	9.9 / 162.0 GB	397–595 tok/s	250K	单卡
流畅	Qwen3-4B-Instruct-2507 Alibaba Qwen	4B	原生 BF16官方	9.1 / 162.0 GB	432–648 tok/s	256K	单卡
流畅	Qwen3-4B Alibaba Qwen	4B	原生 BF16官方	9.1 / 162.0 GB	432–648 tok/s	128K	单卡
流畅	DeepSeek-OCR DeepSeek	3.3B	原生 BF16官方	7.2 / 162.0 GB	1436–2154 tok/s	8K	单卡
流畅	Granite-4.0-H-Micro IBM	3.2B	原生 BF16官方	6.5 / 162.0 GB	620–930 tok/s	128K	单卡
流畅	Qwen3-1.7B Alibaba Qwen	2B	原生 BF16官方	5.2 / 162.0 GB	800–1199 tok/s	40K	单卡
流畅	DeepSeek-R1-Distill-Qwen-1.5B DeepSeek	1.8B	原生 BF16官方	4.0 / 162.0 GB	1056–1583 tok/s	125K	单卡
流畅	GLM-OCR Zhipu AI	1.3B	原生 BF16官方	3.5 / 162.0 GB	1255–1882 tok/s	128K	单卡
流畅	Qwen3-0.6B Alibaba Qwen	0.8B	原生 BF16官方	2.8 / 162.0 GB	1637–2456 tok/s	40K	单卡
流畅	EmbeddingGemma 2 Google	0.7B	原生 BF16官方	2.0 / 162.0 GB	2536–3805 tok/s	256K	单卡
流畅	Qwen3-Embedding-0.6B Alibaba Qwen	0.6B	原生 BF16官方	2.5 / 162.0 GB	1877–2815 tok/s	32K	单卡
流畅	bge-reranker-v2-m3 BAAI	0.6B	原生 FP32官方	3.4 / 162.0 GB	1300–1950 tok/s	8K	单卡
流畅	bge-m3-unsupervised BAAI	0.6B	原生 FP32官方	3.4 / 162.0 GB	1300–1950 tok/s	8K	单卡
流畅	bge-large-en-v1.5 BAAI	0.3B	原生 FP32官方	1.8 / 162.0 GB	2876–4314 tok/s	512	单卡
流畅	bge-reranker-base BAAI	0.3B	原生 FP32官方	1.6 / 162.0 GB	3536–5304 tok/s	514	单卡
流畅	bge-base-en-v1.5 BAAI	0.1B	原生 FP32官方	0.9 / 162.0 GB	8756–13134 tok/s	512	单卡
流畅	bge-small-en-v1.5 BAAI	0B	原生 FP32官方	0.6 / 162.0 GB	27991–41986 tok/s	512	单卡
需放到内存	Qwen3.5-397B-A17B Alibaba Qwen	403.4B / 17B	IQ4_XS	209.8 GB，49.9 放内存	19–29 tok/s	—	卸载 15/60 层
需放到内存	GLM-4.5 Zhipu AI	358.3B	IQ4_XS	189.0 GB，28.9 放内存	12–19 tok/s	—	卸载 15/92 层
需放到内存	GLM-4.7 Zhipu AI	358.3B	IQ4_XS	189.0 GB，28.9 放内存	12–19 tok/s	—	卸载 15/92 层
需放到内存	GLM-4.6 Zhipu AI	356.8B	IQ4_XS	188.2 GB，26.9 放内存	14–21 tok/s	—	卸载 14/92 层
需放到内存	GLM-5.3-Flash Zhipu AI	321.3B / 18B	Q5_0	216.4 GB，54.9 放内存	13–20 tok/s	—	卸载 12/45 层
需放到内存	MiMo-V2.5 Xiaomi	310.8B / 15B	Q5_K_M	217.3 GB，55.7 放内存	15–23 tok/s	—	卸载 13/48 层

按厂商 Hugging Face 仓库的数据估算（截至 2026-11-06）；带筛选的页面不建索引。怎么估算的