Latent Space· Latent Space·· 11 天前精选AI 评分83
DeepSeek 开源推理栈 DeepInfer：单集群日均 155T tokens、每卡时收入 38 美元
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 在 PyTorch Conf 首日开源生产推理栈 DeepInfer，官方工程报告称单集群日均处理 155T tokens、输入缓存命中率 96%、平均首 token 延迟 400ms、生成速度 230 tokens/s（编码场景 300 tokens/s），非高峰时段每加速器小时收入 38 美元。
推荐理由
原文把 DeepSeek 开源推理栈的生产数据、缓存机制与成本测算放在一起，并附上 vLLM 的对照复现结果，便于判断这套效率有多少可迁移。
来源：Latent Space · latent.space