智能免费之后怎么办?面向智能体、由智能体构建的数据系统
UC Berkeley 的 Aditya G. Parameswaran 等人提出,推理成本已从 2023 年初 GPT-4 级约 $30/百万 token 降至如今不足 $1,部分厂商低于 $0.10,年度降幅中位数约 50x,数据系统需围绕智能体重构。
UC Berkeley 的 Aditya G. Parameswaran 等人提出,推理成本已从 2023 年初 GPT-4 级约 $30/百万 token 降至如今不足 $1,部分厂商低于 $0.10,年度降幅中位数约 50x,数据系统需围绕智能体重构。
自适应并行推理让模型自行决定何时分解并并行化独立子任务、开启多少并发线程以及如何协调,而非由外部框架强加固定的并行结构。现有 self-consistency、Best-of-N、Tree of Thoughts、MCTS 等方法均在模型之外预设并行度与搜索策略,对简单问题浪费算力、对复杂问题分解不当。