流式输出(Streaming)
模型边生成边把 token 推给前端,用户看到文字逐字浮现。体感速度远好于等整段生成完毕,现在已是对话类产品的默认体验。
能实时听说、可被打断、能调用工具完成任务的语音 AI(客服、外呼、语音助手)。决定体验的关键指标是端到端延迟,而不是转写准确率。
模型边生成边把 token 推给前端,用户看到文字逐字浮现。体感速度远好于等整段生成完毕,现在已是对话类产品的默认体验。
能自主规划步骤、调用工具、根据反馈调整行动的 AI 系统。聊天模型“你问我答”,Agent“给你办事”——订票、改代码、跑数据都算。
模型按约定格式输出「调用哪个函数、传什么参数」,由你的程序真正执行后把结果回喂给模型。这是 AI 从「会聊天」变成「能办事」的关键一步。