GeForce RTX 5090 能跑哪些开源模型

显存 32 GB
带宽 1792 GB/s
FP16 稠密算力 209.5 TFLOPS
可用 28.8 GB

规格出处: 显存 · Compare Current and Previous GeForce Series of Graphics Cards | NVIDIA · 带宽 · Compare Current and Previous GeForce Series of Graphics Cards | NVIDIA · FP16 稠密算力 · NVIDIA RTX Blackwell GPU Architecture (whitepaper)

搜索精度上下文并发最低速度结构类型厂商排序

适配	模型	参数 / 激活	推荐精度	显存占用	估算速度	最长上下文	运行方式
流畅	Qwen3.5-35B-A3B Alibaba Qwen	36B / 3B	Q5_K_M	25.2 / 28.8 GB	389–584 tok/s	194K	单卡
流畅	Qwen3.6-35B-A3B Alibaba Qwen	36B / 3B	Q5_K_M	25.2 / 28.8 GB	389–584 tok/s	194K	单卡
流畅	Qwen2.5-VL-32B-Instruct Alibaba Qwen	33.5B	Q5_K_M	25.3 / 28.8 GB	35–52 tok/s	22K	单卡
流畅	Qwen3-VL-32B-Instruct Alibaba Qwen	33.4B	Q5_K_M	25.2 / 28.8 GB	35–52 tok/s	22K	单卡
流畅	Qwen3-VL-32B-Thinking Alibaba Qwen	33.4B	Q5_K_M	25.2 / 28.8 GB	35–52 tok/s	22K	单卡
流畅	Qwen2.5-32B-Instruct Alibaba Qwen	32.8B	Q5_K_M官方	24.7 / 28.8 GB	35–53 tok/s	24K	单卡
流畅	Qwen2.5-Coder-32B-Instruct Alibaba Qwen	32.8B	INT4 (AWQ / GPTQ)官方	20.9 / 28.8 GB	42–63 tok/s	32K	单卡
流畅	QwQ-32B Alibaba Qwen	32.8B	Q5_K_M官方	24.7 / 28.8 GB	35–53 tok/s	24K	单卡
流畅	DeepSeek-R1-Distill-Qwen-32B DeepSeek	32.8B	Q5_K_M	24.8 / 28.8 GB	35–53 tok/s	24K	单卡
流畅	Qwen3-32B Alibaba Qwen	32.8B	Q5_K_M官方	24.7 / 28.8 GB	35–53 tok/s	24K	单卡
流畅	Qwen3-Omni-30B-A3B-Captioner Alibaba Qwen	31.7B	Q5_K_M	22.8 / 28.8 GB	222–333 tok/s	64K	单卡
流畅	Gemma 4 31B IT Google	31.3B	Q5_K_M	23.8 / 28.8 GB	37–55 tok/s	40K	单卡
流畅	GLM-4.7-Flash Zhipu AI	31.2B	Q6_K	25.5 / 28.8 GB	191–286 tok/s	72K	单卡
流畅	Qwen3-VL-30B-A3B-Instruct Alibaba Qwen	31.1B	Q6_K	25.7 / 28.8 GB	224–336 tok/s	41K	单卡
流畅	Qwen3-VL-30B-A3B-Thinking Alibaba Qwen	31.1B	Q6_K	25.7 / 28.8 GB	224–336 tok/s	41K	单卡
流畅	Qwen3-30B-A3B-Instruct-2507 Alibaba Qwen	30.5B / 3.3B	Q6_K	25.3 / 28.8 GB	255–382 tok/s	45K	单卡
流畅	Qwen3-30B-A3B-Thinking-2507 Alibaba Qwen	30.5B / 3.3B	Q6_K	25.3 / 28.8 GB	255–382 tok/s	45K	单卡
流畅	Qwen3-30B-A3B Alibaba Qwen	30.5B / 3.3B	Q6_K官方	25.3 / 28.8 GB	255–382 tok/s	128K	单卡
流畅	Qwen3-Coder-30B-A3B-Instruct Alibaba Qwen	30.5B / 3.3B	Q6_K	25.3 / 28.8 GB	255–382 tok/s	45K	单卡
流畅	Hy-Memory-30B-A3B Tencent	30.1B / 3B	Q6_K官方	24.9 / 28.8 GB	274–411 tok/s	49K	单卡
流畅	Granite Switch 4.1 30B IBM	30B	Q5_K_M官方	25.5 / 28.8 GB	34–51 tok/s	21K	单卡
流畅	Qwen3.5-27B Alibaba Qwen	27.8B	Q6_K	22.8 / 28.8 GB	38–58 tok/s	104K	单卡
流畅	Qwen3.6-27B Alibaba Qwen	27.8B	Q6_K	22.8 / 28.8 GB	38–58 tok/s	104K	单卡
流畅	Qwen3.8-27B Alibaba Qwen	27.8B	Q6_K	22.8 / 28.8 GB	38–58 tok/s	104K	单卡
流畅	Gemma 4 26B A4B IT Google	25.8B / 3.8B	FP8	25.7 / 28.8 GB	206–309 tok/s	86K	单卡
流畅	Magistral Small 1.2 Mistral AI	24B	Q8_0官方	25.8 / 28.8 GB	34–51 tok/s	27K	单卡
流畅	Devstral Small 1.0 Mistral AI	23.6B	Q8_0	25.7 / 28.8 GB	34–51 tok/s	27K	单卡
流畅	Devstral Small 1.1 Mistral AI	23.6B	Q8_0	25.7 / 28.8 GB	34–51 tok/s	27K	单卡
流畅	Magistral Small 1.0 Mistral AI	23.6B	Q8_0	25.7 / 28.8 GB	34–51 tok/s	27K	单卡
流畅	Magistral Small 1.1 Mistral AI	23.6B	Q8_0官方	25.8 / 28.8 GB	34–51 tok/s	27K	单卡
流畅	ERNIE-4.5-21B-A3B-Thinking Baidu	21.8B / 3B	Q8_0	23.1 / 28.8 GB	245–367 tok/s	112K	单卡
流畅	GPT OSS 20B OpenAI	20.9B / 3.6B	原生 MXFP4官方	13.6 / 28.8 GB	348–522 tok/s	128K	单卡
流畅	Qwen2.5-14B-Instruct-1M Alibaba Qwen	14.8B	Q8_0	16.8 / 28.8 GB	52–78 tok/s	71K	单卡
流畅	Qwen2.5-14B-Instruct Alibaba Qwen	14.8B	Q8_0官方	16.9 / 28.8 GB	52–78 tok/s	32K	单卡
流畅	DeepSeek-R1-Distill-Qwen-14B DeepSeek	14.8B	Q8_0	16.8 / 28.8 GB	52–78 tok/s	32K	单卡
流畅	Qwen3-14B Alibaba Qwen	14.8B	Q8_0官方	16.6 / 28.8 GB	53–79 tok/s	128K	单卡
流畅	Gemma 3 12B IT Google	12.2B	Q8_0	15.5 / 28.8 GB	56–84 tok/s	46K	单卡
流畅	Qwen2.5-Omni-7B Alibaba Qwen	10.7B	原生 BF16官方	22.3 / 28.8 GB	39–59 tok/s	32K	单卡
流畅	GLM-4.6V-Flash Zhipu AI	10.3B	原生 BF16官方	20.4 / 28.8 GB	43–64 tok/s	125K	单卡
流畅	Qwen3.5-9B Alibaba Qwen	9.7B	原生 BF16官方	19.1 / 28.8 GB	46–69 tok/s	256K	单卡
流畅	Qianfan-VL-8B Baidu	8.8B	原生 BF16官方	18.2 / 28.8 GB	48–72 tok/s	32K	单卡
流畅	Granite Switch 4.1 8B IBM	8.8B	原生 BF16官方	18.5 / 28.8 GB	47–71 tok/s	70K	单卡
流畅	Qwen3-VL-8B-Instruct Alibaba Qwen	8.8B	原生 BF16官方	18.3 / 28.8 GB	48–72 tok/s	83K	单卡
流畅	Qwen3-VL-8B-Thinking Alibaba Qwen	8.8B	原生 BF16官方	18.3 / 28.8 GB	48–72 tok/s	83K	单卡
流畅	pplx-embed-v2-context-9b Perplexity	8.4B	Q8_0	9.1 / 28.8 GB	97–146 tok/s	256K	单卡
流畅	Qwen2.5-VL-7B-Instruct Alibaba Qwen	8.3B	原生 BF16官方	16.7 / 28.8 GB	53–79 tok/s	125K	单卡
流畅	Qwen3-8B Alibaba Qwen	8.2B	原生 BF16官方	17.1 / 28.8 GB	51–76 tok/s	128K	单卡
流畅	DeepSeek-R1-Distill-Llama-8B DeepSeek	8B	原生 BF16官方	16.7 / 28.8 GB	52–78 tok/s	105K	单卡
流畅	Gemma 4 E4B Google	8B	原生 BF16官方	15.8 / 28.8 GB	55–83 tok/s	125K	单卡
流畅	Ling-3.0-tiny Ant Group	7.9B / 1.3B	原生 BF16官方	15.6 / 28.8 GB	317–475 tok/s	128K	单卡
流畅	Qwen2.5-7B-Instruct-1M Alibaba Qwen	7.6B	原生 BF16官方	15.3 / 28.8 GB	57–86 tok/s	254K	单卡
流畅	Qwen2.5-7B-Instruct Alibaba Qwen	7.6B	原生 BF16官方	15.3 / 28.8 GB	57–86 tok/s	32K	单卡
流畅	DeepSeek-R1-Distill-Qwen-7B DeepSeek	7.6B	原生 BF16官方	15.3 / 28.8 GB	57–86 tok/s	32K	单卡
流畅	Mistral-7B-Instruct-v0.1 Mistral AI	7.2B	原生 BF16官方	15.2 / 28.8 GB	58–86 tok/s	32K	单卡
流畅	Gemma 4 E2B Google	5.1B	原生 BF16官方	10.1 / 28.8 GB	87–130 tok/s	125K	单卡
流畅	WeVisOne-VL-4B Tencent	4.8B	原生 BF16官方	10.6 / 28.8 GB	82–124 tok/s	137K	单卡
流畅	Qianfan-OCR Baidu	4.7B	原生 BF16官方	10.5 / 28.8 GB	84–126 tok/s	31K	单卡
流畅	Qwen3.5-4B Alibaba Qwen	4.7B	原生 BF16官方	9.4 / 28.8 GB	93–140 tok/s	256K	单卡
流畅	Qwen3-VL-4B-Instruct Alibaba Qwen	4.4B	原生 BF16官方	9.9 / 28.8 GB	89–133 tok/s	142K	单卡
流畅	Qwen3-4B-Instruct-2507 Alibaba Qwen	4B	原生 BF16官方	9.1 / 28.8 GB	97–145 tok/s	148K	单卡
流畅	Qwen3-4B Alibaba Qwen	4B	原生 BF16官方	9.1 / 28.8 GB	97–145 tok/s	128K	单卡
流畅	DeepSeek-OCR DeepSeek	3.3B	原生 BF16官方	7.2 / 28.8 GB	322–483 tok/s	8K	单卡
流畅	Granite-4.0-H-Micro IBM	3.2B	原生 BF16官方	6.5 / 28.8 GB	139–208 tok/s	128K	单卡
流畅	Qwen3-1.7B Alibaba Qwen	2B	原生 BF16官方	5.2 / 28.8 GB	179–269 tok/s	40K	单卡
流畅	DeepSeek-R1-Distill-Qwen-1.5B DeepSeek	1.8B	原生 BF16官方	4.0 / 28.8 GB	236–355 tok/s	125K	单卡
流畅	GLM-OCR Zhipu AI	1.3B	原生 BF16官方	3.5 / 28.8 GB	281–422 tok/s	128K	单卡
流畅	Qwen3-0.6B Alibaba Qwen	0.8B	原生 BF16官方	2.8 / 28.8 GB	367–550 tok/s	40K	单卡
流畅	EmbeddingGemma 2 Google	0.7B	原生 BF16官方	2.0 / 28.8 GB	568–852 tok/s	256K	单卡
流畅	Qwen3-Embedding-0.6B Alibaba Qwen	0.6B	原生 BF16官方	2.5 / 28.8 GB	420–631 tok/s	32K	单卡
流畅	bge-reranker-v2-m3 BAAI	0.6B	原生 FP32官方	3.4 / 28.8 GB	291–437 tok/s	8K	单卡
流畅	bge-m3-unsupervised BAAI	0.6B	原生 FP32官方	3.4 / 28.8 GB	291–437 tok/s	8K	单卡
流畅	bge-large-en-v1.5 BAAI	0.3B	原生 FP32官方	1.8 / 28.8 GB	644–966 tok/s	512	单卡
流畅	bge-reranker-base BAAI	0.3B	原生 FP32官方	1.6 / 28.8 GB	792–1188 tok/s	514	单卡
流畅	bge-base-en-v1.5 BAAI	0.1B	原生 FP32官方	0.9 / 28.8 GB	1961–2942 tok/s	512	单卡
流畅	bge-small-en-v1.5 BAAI	0B	原生 FP32官方	0.6 / 28.8 GB	6270–9405 tok/s	512	单卡
需放到内存	Ming-3.0-audio-flash Ant Group	128.2B / 6.5B	Q4_K_M	76.5 GB，48.3 放内存	17–25 tok/s	—	卸载 28/42 层
需放到内存	Ling-3.0-flash Ant Group	127.5B / 5.1B	Q4_K_M官方	75.7 GB，47.8 放内存	21–32 tok/s	—	卸载 28/42 层
需放到内存	Qwen3.5-122B-A10B Alibaba Qwen	125.1B / 10B	IQ4_XS	65.2 GB，37.4 放内存	14–20 tok/s	—	卸载 29/48 层
需放到内存	Ling-3.0-flash-VL Ant Group	124.8B / 5.5B	Q5_0	84.3 GB，57.1 放内存	16–24 tok/s	—	卸载 30/42 层
需放到内存	gpt-oss-120b OpenAI	116.8B / 5.1B	原生 MXFP4官方	64.1 GB，35.4 放内存	26–39 tok/s	—	卸载 21/36 层
需放到内存	GLM-4.5-Air Zhipu AI	110.5B	IQ4_XS	58.8 GB，49.3 放内存	12–19 tok/s	—	专家放内存
需放到内存	GLM-4.5V Zhipu AI	107.7B / 12B	IQ4_XS	57.4 GB，50.5 放内存	13–19 tok/s	—	专家放内存
需放到内存	GLM-4.6V Zhipu AI	107.7B	IQ4_XS	57.4 GB，49.3 放内存	13–19 tok/s	—	专家放内存
需放到内存	Ling-2.6-flash Ant Group	107.5B / 7.4B	Q5_K_M	75.0 GB，46.7 放内存	13–19 tok/s	—	卸载 21/32 层
需放到内存	Qwen3-Next-80B-A3B-Instruct Alibaba Qwen	81.3B / 3B	Q8_0官方	83.1 GB，55.9 放内存	20–30 tok/s	—	卸载 34/48 层
需放到内存	Qwen3-Next-80B-A3B-Thinking Alibaba Qwen	81.3B / 3B	Q8_0官方	83.1 GB，55.9 放内存	20–30 tok/s	—	卸载 34/48 层
需放到内存	Qwen3-Coder-Next Alibaba Qwen	79.7B / 3B	Q8_0官方	83.1 GB，55.9 放内存	19–29 tok/s	—	卸载 34/48 层
需放到内存	Qwen2.5-VL-72B-Instruct Alibaba Qwen	73.4B	IQ4_XS	40.6 GB，12.3 放内存	3–5 tok/s	—	卸载 27/80 层
需放到内存	Qwen2-VL-72B-Instruct Alibaba Qwen	73.4B	IQ4_XS	40.6 GB，12.3 放内存	3–5 tok/s	—	卸载 27/80 层
需放到内存	Qwen2.5-72B-Instruct Alibaba Qwen	72.7B	IQ4_XS	40.3 GB，11.7 放内存	3–5 tok/s	—	卸载 26/80 层
需放到内存	Qianfan-VL-70B Baidu	71.8B	IQ4_XS	39.8 GB，11.1 放内存	3–5 tok/s	—	卸载 25/80 层
需放到内存	DeepSeek-R1-Distill-Llama-70B DeepSeek	70.6B	IQ4_XS	39.2 GB，10.5 放内存	4–5 tok/s	—	卸载 24/80 层

按厂商 Hugging Face 仓库的数据估算（截至 2026-11-06）；带筛选的页面不建索引。怎么估算的