如何把 AI 模型切得更小？从层间流水线到子层专家分片

现有 Petals、BloomBee 等去中心化推理项目采用流水线并行，把整层交给单台机器，导致只有 2 GB 或 4 GB 空闲内存的设备被挡在门外。文章提出把切分粒度下沉到子层：MoE 模型可将单个 expert 甚至其投影矩阵的一部分放到设备上，284B 参数模型每个 token 仅激活约 13B 参数，目标内存预算为 500 MB 至 1 GB。