AI 开始替人做事以后，“等它想完”可能变成一天里反复发生的小事。查资料、读代码、调用工具、检查结果，一项任务要往前走，常常得等上一步先结束。单次回答快一点，和整件事早点做完，是两种不同的体验。

9 月 4 日，Gimlet Labs 宣布完成 3 亿美元 B 轮融资，由 a16z 领投。Bloomberg 报道，公司本轮估值达到 30 亿美元。它要做的生意，是把不同架构的芯片组织成一套推理服务，让它们各自处理更适合的工作。融资公告[1]、Bloomberg 报道[2]

图源：Gimlet Labs 本轮融资公告。

这个方向提出了一个值得想的问题：当模型已经能干活，下一笔钱会流向更强的模型，还是流向让模型少等待的系统？

贵的芯片，也有不擅长的活

直觉上，让 AI 更快，多买几张高性能 GPU 就好了。但一项推理任务里，计算、读取数据、传递中间结果，对硬件的要求并不相同。把所有环节放在同一种芯片上，方便统一管理，也可能让某些昂贵部件等着别的环节完成。

Gimlet 的思路是拆开这些工作，再组合不同硬件。公司把它称为多芯片架构的推理云：用户调用服务，背后的调度系统决定工作怎样分配。公司对产品的说明[1]

这有点像重新安排一条生产线。最有价值的改进，未必发生在最快的那台机器上；找到让整条线停下来的工序，同样可能改变最终产出。

一个具体例子出现在 Gimlet 今年 3 月与 Corsair 合作公布的实验里。它采用“推测解码”：小模型先拟出后面的文字，再交给大模型核验。团队尝试把小模型放到另一种更适合相应负载的硬件上，而不是让两部分都挤在 GPU 上。实验说明[3]

这里最值得读的，是实验条件。它采用特定模型组合，数据同时包含实测和建模结果，并针对代码任务使用较高的草稿接受率假设。换一个任务，小模型猜中的比例可能不同；网络传输时间也必须算进去。它说明了分工存在机会，还不能替所有真实业务算出同一笔节省额。

投资者买单的部分，还包括水管

a16z 的投资文章提供了另一个视角：把不同芯片接在一起，涉及软件，也涉及电力、网络和冷却。文章甚至举到不同设备对进水温度的要求。这是一位投资方对项目的判断，却点出了这门生意不容易在演示里展示的工作。a16z 投资说明[4]

对客户而言，芯片搭配本身不是最终产品。真正可购买的东西，是一套持续可用、延迟可预期、成本能核算的服务。

这也决定了潜在的竞争壁垒：如果每接入一种硬件，就得由客户重新处理部署、故障和性能波动，组合越多，负担越重。只有服务商把这部分复杂性接过去，多一种芯片才可能变成客户多一种选择。

反过来看，这也是 Gimlet 要承担的风险。软硬件之间每增加一处连接，就多一处需要长期维护的关系。实验里的最佳组合，和可以大规模交付的配置，中间还隔着供应、适配与运营。

融资证明了押注，客户账单才会证明价值

3 亿美元融资，说明这套路线拿到了继续建设的资源。它没有直接回答：换成真实客户的模型、流量和服务要求，节省会有多大，能维持多久。

接下来值得看的，是同一项任务在相近质量要求下，完成时间、总成本和稳定性怎样变化。单次推理的漂亮数字，只覆盖了客户账单的一部分。

对做 AI 应用的人，这条新闻也提供了一种审视产品的角度：用户等待的地方，究竟是模型还不够聪明，还是已有能力没有被组织好？