vLLM Blog· Mistral and the vLLM Team·· 3 天前精选AI 评分62
vLLM 在发布当天支持 Mistral Large 4
Day 0 support for Mistral Large 4 on vLLM
AI 导读
vLLM 宣布在 Mistral Large 4 发布当天提供支持，该模型为 1 万亿参数、每 token 激活 49B 的 MoE 原生多模态模型，提供 FP8 与 NVFP4 两种 checkpoint。
推荐理由
原文给出 Mistral Large 4 在 vLLM 上的完整部署参数与多项优化前后对比数据，可作为长上下文推理配置的参考。
来源：vLLM Blog · vllm.ai