人工智能研究员内森·兰伯特在其Interconnects通讯中写道：AI训练和推理栈的很多环节都是高度可验证的。训练指标比如每GPU每秒token数，本质就是训练速度。推理指标则是每prompt的token数、每token的FLOPs，说到底就是每个答案的成本。这两块都非常可优化，尤其是有成熟的子问题和架构权衡可以利用。我预计几年内AIagent会帮助端到端优化整个流程，让我们的推理能力逼近GPU这类加速器的底层算力上限。过去几年，各家在推理效率上的收益已经很大了——比如模型以某个定价发布后，还能再省下10–30%的服务成本。整个栈会持续复利，我预计未来几年模型智能的有效成本会近乎指数级下降（可能比近期趋势更快）。 这些效率方面的低垂果实，几年内就能摘完。更长期的是加速器与模型的协同设计，时间线更长，能在灵活的GPU平台之上再带来几个数量级的效率提升。在效率快速提升的这段时间里，GPU的灵活性会是好事，因为架构层面的探索空间很重要，是自动化研究的一个主要杠杆。在我看来，预训练研究（至少是服务于当前这类模型的架构和数据选择）2–3年内实现自动化，这个预测是合理的。