多模态与全模态：看懂能力说明

　　上一节，我们区分了理解图片和生成图片所需的能力。查阅模型介绍时，还会遇到“多模态”“全模态”等名称。那么，一个模型既能接收图片又能接收文字，是否就意味着它也能生成图片？

　　要回答这个问题，我们先认识模态。可以简单理解为信息的形式，文字、图像、声音和视频都是不同的模态。根据模型能够处理的信息形式，通常可以看到以下几种描述：

　　这里要注意，“全模态”并没有一套统一的输入输出标准，具体能力仍然取决于型号。

　　模型涉及哪些信息形式，与它最终能生成什么成果，是两个不同的角度。 例如，Seedance 2.0 可以接收文字、图片、声音和视频作为参考，生成新视频。从用途看，它是视频生成模型；从输入形式看，它也具备多模态能力。

多模态模型能结合不同形式的信息

　　假设我们收到一张活动安排表的照片，想知道“周六下午有什么活动”。这时，可以把照片和问题一起交给支持图像理解的模型。

　　照片提供活动安排，文字问题则说明我们想查找哪一部分。模型结合两者的信息，便可以给出对应的回答。

　　我们用一张示意图看看这个过程：

　　图中，图片提供了活动安排，文字问题将查询范围缩小到“周六下午”，最后得到“读书活动”这个答案。

　　这就是多模态的一种常见用法：让模型结合不同形式的信息完成同一个任务。 不必同时处理文字、声音和视频，只要涉及多种模态，就已经属于多模态任务。

　　类似地，我们可以上传商品包装，询问上面标注的容量；也可以提供一张路线图，询问入口附近有哪些设施。图片提供材料，文字说明我们希望模型做什么。

　　不过，使用两种语言不等于使用两种模态。例如，用中文提问、要求英文回答，输入和输出仍然都是文字。而一张写满文字的照片，作为图片提交时，模型仍然需要处理其中的视觉信息。

能看图片，不一定能生成图片

　　现在回到开头的问题。一个模型能够理解图片，是否也能生成图片？

　　关键是看它的输入模态和输出模态。输入说明可以提供哪些材料，输出说明模型能够产生什么结果。

　　下面以几个具体型号为例，看看它们的能力有什么不同：

　　例如，Qwen3-VL-Plus 可以接收活动安排表的照片，根据图片回答问题。但它的输出是文字，因此不能仅凭它支持图像输入，就认为它也可以生成一张新海报。

　　如果我们的目标是重新制作海报，就需要选择具有图像生成能力的模型，例如 Qwen-Image-3.0。

　　可以看到，同属千问系列的模型，输入与输出也可能不同。选择模型时，要看具体型号支持什么，而不能只根据品牌或系列名称判断。

　　模型能力还会随着版本更新。这里不需要记住每个型号，学会阅读输入、输出两项说明，以后就能根据任务寻找适合的能力。

全模态仍属于多模态

　　再看表中的 Qwen3-Omni-Flash。它可以接收文字、图片、声音和视频，也能够输出文字和语音，因此属于覆盖范围较广的多模态模型。

　　但它的说明并没有列出图片或视频生成输出。也就是说，全模态并不代表所有形式的内容都能生成。

　　全模态模型还可以用于更自然的交互。例如，豆包 App 的视频通话接入了 SeedRealtime 模型，可以结合实时画面、声音与文字信息，支持边看、边听、边说的交流。

　　这里与普通图文问答不同的是，模型不仅需要理解不同形式的内容，还需要根据持续变化的声音和画面作出回应。

　　不过，不同全模态模型的能力范围、交互方式和开放功能也可能不同。最终还是要回到具体型号及其能力说明。

模型的能力，还需要产品提供使用入口

　　前面我们已经区分过模型与产品。模型支持某项能力，并不代表使用它的产品一定开放了对应功能。

　　例如，一个模型支持图片输入，产品仍需要提供上传图片的入口，并将图片正确交给模型。否则，我们即使知道模型能够理解图片，也未必能通过当前界面使用这项能力。

　　另外，产品能够处理多模态任务，不代表所有工作都由同一个多模态模型完成。

　　比如，上传一张活动安排表，得到文字答案，背后可能有两种处理方式：

　　两种方式都可能正确回答“周六下午有什么活动”。但如果我们接着问“黄色标出的是哪项活动”，处理方式的差别就可能显现出来。

　　如果文字识别只保留了活动名称和时间，没有记录黄色标记，后面的文字模型便缺少回答这道问题的信息。而能够处理图片的视觉模型，则可以尝试直接识别画面中的颜色关系。

　　这也引出了原生多模态的概念。它通常强调模型自身能够联合处理多种形式的信息，而不是依赖外部工具先把不同材料转换成文字，再交给另一个模型。

　　不过，原生多模态模型也会在内部把图片和声音转换为适合计算的表示。这里与外部组合流程的区别，不是有没有转换，而是模型是否能够在自身的处理过程中利用不同模态的信息。

　　因此，了解产品采用什么模型、怎样处理输入，能够帮助我们判断它适合哪些任务。但实际效果仍需要结合具体材料进行验证。

根据任务核对模型的输入与输出

　　现在，我们已经可以把“找一个多模态 AI”变成更明确的要求：

　　“我有一张活动安排表的照片，希望根据照片得到周六下午的活动。”

　　接下来，就可以查看模型的能力说明：是否支持图片和文字输入，能否输出文字；再确认当前产品是否提供图片上传，以及能否按要求使用这些材料。

　　如果任务变成根据照片制作一张新海报，我们就需要重新选择具备图像生成能力的模型。

　　回到开头的问题，能够接收图片，不代表也能生成图片；支持多种输入，也不代表具备所有输出能力。 现在，我们已经能从具体型号的输入、输出和产品功能中，判断一种 AI 是否适合当前任务。

　　不过，模型具备相应能力，也不意味着每次都能正确完成。下一节，我们将进一步认识 AI 可能出现的错误，以及怎样根据实际依据发现和纠正这些问题。