Tenstorrent 称 Blackhole 可在同芯片服务 Agent 推理

Tenstorrent 发布技术博客称，其 Galaxy 系统能在同一颗 Blackhole 芯片上同时处理 Agent 推理的 prefill（处理新输入）和 decode（生成输出），运营方因此可按负载变化在两者间调配容量，而不必在购买硬件时就固定分配。 据其介绍，每套 32 芯片的 Galaxy 提供 6.2 GB 片上 SRAM、1 TB 外部 GDDR6 内存，Block FP8 峰值 23 PFLOPS；系统采用 6U 风冷机箱、无直连液冷，可进入具备风冷条件的站点，但需满足机架的供电、气流和承重要求。 Tenstorrent 同时说明，相关数据是在 Wormhole 上测得的 kernel 对比，并非 Blackhole 上的服务结果，也未与其他厂商比较。

AI 根据报道生成 · 3 天前更新