图像、声音和视频模型

　　上一节，我们认识了语言模型在写作、推理和代码生成中的用途。如果换成图片、声音和视频，AI 又能帮我们完成什么？

　　比如，读出海报上的活动日期，与画一张新的海报，都涉及图片，所需的能力却不同。同样，听懂一段录音和生成一段配音，也不是同一种任务。

　　判断时可以先问：手里有什么，希望得到什么？ 交给 AI 的材料是输入，希望它产出的结果是输出。分清这两个方向，就能进一步认识理解已有材料、生成新内容和修改已有内容等不同能力。

　　我们先从希望得到的成果出发，认识几类常见的生成模型：

图片：看图、画图和改图

　　假设朋友发来一张读书会海报，我们想知道活动在什么时候、什么地方举行。海报已经存在，需要的是从中取得信息。

　　能够接收图片、理解画面并回答问题的能力，通常称为图像理解，也叫视觉理解。我们可以提供海报，并提出要求：“请找出活动时间与地点。”此时，输入是图片和问题，输出则是文字。

　　现在换一种需要：我们准备组织自己的读书会，想配一张温暖的插画。手里还没有图片，就可以向支持图像生成的产品描述想要的画面：

　　根据文字描述生成图片，通常称为文生图。画面中的主体、环境、风格和画幅，都可以通过文字说明。得到图片后，再看它是否符合我们想要的效果。

　　图中，上半部分展示如何从已有图片中取得信息，下半部分则是根据文字要求生成新图片。虽然两者都涉及图像，但输入与输出不同。

　　还有一种情况：已有插画基本满意，只想把背景改成傍晚。这属于图像编辑。我们需要提供原图，说明希望修改什么、保留什么。例如，改变窗外光线的同时，保持书本、茶杯和原有构图不变。

　　可以看到，图片既可以成为 AI 理解的材料，也可以是它生成或修改的成果。这些能力可能集中在一款产品中，也可能需要不同模型完成。

声音：转写录音和生成声音

　　声音也称为音频，其中人说话的部分叫语音。处理声音时，同样需要区分：我们是希望 AI 听懂已有录音，还是生成新的声音？

　　假设朋友发来一条语音：“读书会改到周日下午三点。”为了方便记录和转发，我们希望把它变成文字。

　　这就需要语音识别，也常称为语音转写。模型接收录音，识别其中的语言，再输出文字。以后遇到 ASR 这个缩写，指的就是自动语音识别。

　　转写的重点是忠实记录原话。例如，“改到周日”与“定在周日”可能表达不同的安排。如果有内容听不清，还可以回到录音核对。

　　反过来，如果我们已经准备好读书会通知，希望让 AI 把它读出来，就需要语音合成。输入的是文字，输出的是说话的声音。

　　语音合成也常叫 TTS（Text-to-Speech），即文字转语音。我们可以根据用途选择声音、语速和表达风格，生成后再试听效果。

　　语音转写与语音合成的方向正好相反：前者把声音变成文字，后者把文字变成声音。

　　音频生成还包括其他用途，例如制作背景雨声、环境音效或音乐。这些任务不一定涉及人说话，因此选择模型时，还要看它支持哪种声音生成能力。

视频：理解内容和生成视频

　　视频不仅包含画面，还记录了画面随时间发生的变化，也可能带有声音。

　　如果我们已经有一段读书分享录像，希望知道其中讲了哪些要点，就需要视频理解。支持相应输入的模型可以分析视频中的内容，帮助概括或回答问题。

　　如果想制作新的开场画面，例如“窗边的书页被风轻轻吹动”，就需要视频生成。

　　常见方式有两种：

• 文生视频：通过文字描述场景和动作，生成一段视频。
• 图生视频：提供已有图片，再描述希望画面怎样动起来。

　　例如，我们已经有了一张窗边读书的插画，就可以进一步要求：“保持原有场景，书页被微风轻轻掀起，动作缓慢，镜头固定。”

　　与静态图片相比，视频多了时间和动作的要求。我们不仅要看画面是否好看，还要看书页有没有按要求翻动，书本是否在运动中变形，场景是否保持连贯。

　　如果还需要风声或配音，则要确认所选功能能否生成相应声音。有些视频模型可以同时生成画面与声音，有些则需要另外配音。

　　视频生成也适合表现想象中的场景。但如果任务是展示一件真实作品，模型根据照片补出的未知细节，并不能直接当作实物的真实样貌。

国内常见的图像、声音和视频模型

　　认识了这些能力，我们再看看国内常见的一些模型系列。这里按任务分类，帮助大家建立初步认识，不需要一次记住所有名称。不同版本的具体功能可能有所区别。

　　还要区分模型与使用产品。例如，即梦 AI 是创作产品，Seedream 和 Seedance 是相关的图像、视频模型系列；可灵 AI 则提供图像和视频等创作功能。进入产品后，仍需要选择具体任务。

　　如果想亲自试试，可以打开即梦 AI或通义万相，找到图像生成功能，尝试前面的“窗边、书、茶”插画。生成后，再调整描述，观察画面怎样变化。

　　这些模型和产品都在持续更新。以后有具体需求时，我们可以先确定所需能力，再查找支持它的模型与产品，不必仅凭名称判断。

根据材料和预期成果选择模型

　　现在回到开头的问题：我们已经有一份材料，或者脑中有一个想法，究竟应该选择什么 AI 能力？

　　可以先把任务写成一句话：

　　“我有……，希望得到……”

　　如果已有海报，希望取得活动日期，就选择图像理解；如果希望从文字描述生成一张插画，就选择图像生成；如果想修改已有插画，则需要图像编辑。

　　声音和视频也可以沿用这个判断方法。关键是弄清输入是什么、期望输出什么，再确认产品是否支持对应的任务。

　　经过这一节，我们已经认识了图像、声音和视频的几种常见用法。以后面对新任务，就可以先根据手中的材料和想要的成果，找到相应的模型能力。

　　不过，一个模型也可能同时接收文字、图片和声音，甚至处理多种形式的输出。下一节，我们将进一步认识多模态与全模态，学习怎样理解模型的能力说明。