首字时延就是你发完问题到第一个字出现之间,你干等的那段时间。
1. 它到底在说什么
TTFT 是英文 Time To First Token(首字时延 / 首词元时间)的缩写,它衡量的是:从你把请求发过去,到屏幕上蹦出第一个字,中间隔了多久。它只管“到底有没有在响应”,不管后面哗哗往外吐字有多快。
用一个场景就懂了:你在一个聊天框里敲完问题按下回车,光标前面是一片空白,你盯着它看——这段“空白期”就是 TTFT。它像餐厅里点完单到第一道菜上桌前的等待,又像红绿灯变绿前你盯着空路面的那几秒。只要第一道菜(第一个字)露面,你心里就踏实了“这家店活着”;至于后面的菜上得多快,是另一个指标(每 token 时延,见 Day 062)的事。
2. 为什么现在这个词很热
这个词本身不新,它跟着流式聊天机器人一起出现——2022 年 ChatGPT 把“边生成边显示”变成标配,用户第一次开始在意“怎么半天不出字”。但真正让它从工程黑话升级成产品指标,是 2023–2024 年推理服务走向成熟:当大模型从“跑得通”变成“每天服务几百万次请求”,每一次等待都被折算成留存和成本,TTFT 就成了服务等级目标(SLO,Service Level Objective)里第一条要守的红线。
把它彻底推到台前的是推理模型。2024 年