自适应并行推理:高效推理扩展的下一个范式
自适应并行推理让模型自行决定何时分解并并行化独立子任务、开启多少并发线程以及如何协调,而非由外部框架强加固定的并行结构。现有 self-consistency、Best-of-N、Tree of Thoughts、MCTS 等方法均在模型之外预设并行度与搜索策略,对简单问题浪费算力、对复杂问题分解不当。
自适应并行推理让模型自行决定何时分解并并行化独立子任务、开启多少并发线程以及如何协调,而非由外部框架强加固定的并行结构。现有 self-consistency、Best-of-N、Tree of Thoughts、MCTS 等方法均在模型之外预设并行度与搜索策略,对简单问题浪费算力、对复杂问题分解不当。
Berkeley AI Research 提出梯度规划器 GRASP,通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代上直接注入随机性以促进探索,并重塑梯度让动作获得清晰信号、避开高维视觉模型中的脆弱"状态-输入"梯度,使基于学习世界模型的长时程规划更实用。该方法针对长时程 rollout 带来的梯度爆炸/消失、非贪心结构造成的局部极小值以及高维隐空间失效模式。
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法,可在特征、数据与模型组件归因中大规模识别驱动 LLM 输出的关键交互。SPEX 利用稀疏性与低阶性把交互搜索转化为稀疏恢复问题,ProxySPEX 进一步利用层次结构,以约 10 倍更少的消融达到与 SPEX 相当的性能。
加州大学伯克利分校团队提出一种基于互信息的成像系统评估与优化框架,仅用带噪测量和噪声模型即可量化系统信息含量,无需任务专用解码器。该方法在彩色摄影、射电天文、无透镜成像和显微镜四个领域验证,信息估计能预测解码器性能,优化后的设计达到SOTA端到端方法水平,且内存和算力需求更低。相关论文发表于NeurIPS 2025。