多模态(Multimodal)
模型能同时理解或生成多种类型的信息(文字、图片、音频、视频)。拍照解题、语音对话、看图写文案,都是多模态能力的体现。
同时理解图像与文字的模型(GPT 视觉版、Claude、Qwen-VL 等)。能读截图、表格与图表并回答,是「拍张照片问 AI」和计算机操作类 Agent 的基础。
模型能同时理解或生成多种类型的信息(文字、图片、音频、视频)。拍照解题、语音对话、看图写文案,都是多模态能力的体现。
让 AI 直接操作图形界面(看屏幕、点鼠标、敲键盘)来完成任务,不依赖对方提供 API。能力上限高但更慢也更易错,适合没有接口的遗留系统。
用海量文本训练出来的超大规模神经网络,通过预测“下一个词”学会语言、知识与推理,ChatGPT、Claude、Gemini 背后都是 LLM。