AI 模型切分粒度下沉至子层专家

现有 Petals、BloomBee 等去中心化推理项目采用流水线并行，把整层交给单台机器，只有 2 GB 或 4 GB 空闲内存的设备因此无法参与。一篇技术文章提出把切分粒度下沉到子层：对 MoE 模型，可将单个 expert 甚至其投影矩阵的一部分放到设备上，目标内存预算为 500 MB 至 1 GB。 文章以 284B 参数模型为例称，每个 token 仅激活约 13B 参数。这一内存预算和激活比例是文章提出的方案设想，尚未见实际部署验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。