AIGC 全景:
图像 · 视频 · 音频 · 3D · 数字人

一、什么是 AIGC?一图看懂五大子领域

AIGC 是生成式 AI 的应用层 -- 不再是「聊天」,而是「产出」。按模态拆,主流场景可分为 5 大子领域:

• 图像生成:文本/图像 → 图像(Stable Diffusion、Midjourney、FLUX)
• 视频生成:文本/图像 → 视频(Sora 2、Veo 3、可灵 Kling)
• 音频与音乐:文本 → 语音/音乐(Suno、ElevenLabs)
• 3D 生成:文本/图像 → 3D 模型(Tripo3D、Hunyuan3D 2.0)
• 数字人:文本/音频 → 虚拟人视频/直播(HeyGen、MuseTalk)

2025-2026 年,五大子领域同时进入「产品爆发期」:每个子领域都有 1-2 个旗舰产品、若干开源模型、一整套工作流生态。学习 AIGC 的关键,不是记住产品列表,而是理解 「提示词工程 + 控制工具 + 工作流」 三个共通层。

1.1 AIGC 三层共通架构(适用于所有模态)

学习 AIGC 的关键,就是把这三层串起来。光会用 Midjourney 出图,只能算 30 分;能配 ControlNet 控制姿态,才算 60 分;能搭 ComfyUI 自动化管线,才是 90 分的「生产级 AIGC 工程师」。

1.2 创作工作流:从 Prompt 到成品的完整链路

二、图像生成:从 Stable Diffusion 到 FLUX 与 Midjourney V7

图像生成是 AIGC 最早爆发的子领域,2024-2026 年经历了「闭源追赶开源 → 开源反超闭源 → 闭源二次反超」的三轮迭代。

2.1 闭源 SaaS:商用首选

2.2 开源模型:可商用、可本地化

2.3 GUI 工具:谁在跑这些模型?

开源模型需要 GUI 工具才能日常使用。2025 年的格局:

• ComfyUI(58k+ stars,节点式工作流):最强可控性 + 可复现,学习曲线陡,适合做复杂生产管线。本地 4G 显存就能跑 SD 1.5。
• Automatic1111 / Forge / SD.Next(154k+ stars):经典 WebUI,简单易用,插件生态最丰富(ControlNet、LoRA 一键装)。
• Fooocus(38k+ stars):基于 SDXL 的极简界面,主打「像 Midjourney 一样简单,但开源免费」。
• InvokeAI:专业级,支持 Canvas 局部重绘和节点工作流。
• Draw Things:macOS / iOS 原生,Apple Silicon 优化。

2.4 控制与编辑:SD 生态的真正护城河

闭源模型最大的局限是不能「精准控制」-- 这是开源生态 5 年积累的护城河:

• ControlNet(lllyasviel, GitHub 30k+ stars):用 Canny 边缘、深度图、姿态骨架等条件精准控制构图,是「角色一致 + 多视角生成」的事实标准。
• IP-Adapter(腾讯 ARC Lab):「一张图的 LoRA」,用于风格迁移与角色面部一致性,2024 年发布 Plus Face 后大幅提升脸部保真度。
• Segment Anything(Meta SAM/SAM 2):零样本图像分割,可作为 Inpainting 蒙版自动生成工具。
• InstructPix2Pix:用自然语言指令编辑图像,ComfyUI 原生支持。
• LoRA / LyCORIS:轻量微调,几十张图训一个专属风格/角色,文件通常 10-200MB。

这些控制工具是 「为什么开源生态依然有竞争力」 的根本原因 -- 闭源模型再强,也很难支持任意姿态/深度/边缘图的控制。

三、视频生成:从 Sora 2 到国产「可灵 + Veo + Seedance」三国杀

2024 年 2 月 OpenAI Sora 拉开视频生成大幕;到 2025-2026 年,视频模型已经分化成 「海外旗舰 + 国产精品 + 开源追赶」 三个梯队。

3.1 海外旗舰:用物理一致性卷出代差

3.2 国产精品:2025-2026 全面反超

2024-2025 年是国产视频模型的「逆袭之年」,多个产品在物理一致性、人物动态、价格上已经显著领先海外:

3.3 选型决策:你该用哪个视频模型?

四、音频与音乐:TTS、音乐生成、声音克隆

音频 AIGC 是子领域里最「产品化」的一条线 -- Suno 和 ElevenLabs 都已经做到「开箱即用」,不需要 GUI 工具。

4.1 TTS(文本转语音):从工具到 Voice Agent

4.2 音乐生成:从「AI 味儿」到「录音室级」

4.3 声音克隆与变声

• 开源 RVC / So-VITS-SVC:5-10 分钟样本即可克隆,GitHub 30k+ stars,直播变声标配。
• OpenVoice(MyShell):跨语言克隆,2 秒样本,支持语调/情感/节奏控制。
• XTTS-v2(Coqui):多语言 TTS 克隆,Apache 2.0 商用许可。
• GPT-Sovits:中英文声音克隆,适合直播、播客。
• CosyVoice / F5-TTS(阿里):开源中文 TTS 主流方案。

五、3D 生成:从文生模型到 NeRF/3DGS 资产管线

3D 生成是 AIGC 中最年轻、但增长最快的子领域。2024-2026 年从「实验玩具」走向「生产工具」,游戏、电商、VR/AR 行业开始大规模采用。

5.1 文/图生 3D 模型:从单图到 PBR 资产

5.2 NeRF / Gaussian Splatting(3DGS)

3DGS 是 2023 年 SIGGRAPH 最佳论文,2024-2026 年成为 NeRF 的事实继任者-- 实时渲染 + 训练快 + 显存低。

• 3D Gaussian Splatting 原论文实现(graphdeco-inria, 18k+ stars):官方 CUDA 实现。
• awesome-3D-GS(mrnerdube, 3k+ stars):论文 + 开源项目汇总,必读。
• gsplat(nerfstudio-project):PyTorch 优化实现,比原版快 2-3 倍。
• Polycam / Luma AI / KIRI Engine:手机端 3DGS 扫描 App,App Store 评分 4.7+。

3DGS 的杀手锏是「照片级真实感的实时渲染」,正在成为游戏、AR/VR、数字孪生的下一代基础技术。

5.3 游戏 / VR 资产生成

游戏行业是 3D AIGC 最大的落地场景。主流工作流:

概念图(SD/FLUX) → Tripo3D/Meshy 出模 → Blender 拓扑 → Substance 贴图 → Unity/Unreal 集成
                ↓
        配合 3DGS 做场景重建,大幅缩短环境美术成本

实测显示,3D AIGC 可把单个角色建模从 3 周压缩到 2 小时。

六、数字人与虚拟形象:从录播到实时交互

数字人是 AIGC 中商业化最成熟的赛道 -- 2024 年 Synthesia 估值 21 亿美元、HeyGen ARR 3500 万美元、Lemon Slice 刚获 1050 万美元种子轮,资本和需求都到位了。

6.1 视频数字人:录播场景

6.2 实时交互数字人:虚拟客服 / 直播

• MiniMax Chat(星野/Talkie):角色扮演 + 长上下文实时对话,国内 C 端数字人代表。
• 字节豆包虚拟人:豆包 App 内置虚拟助手,可定制企业数字员工。
• 百度数字人:百度智能云曦灵,主打直播带货与企业服务。
• Lemon Slice-2(YC + Matrix 投资):20B 参数扩散模型,单图生成虚拟人,单 GPU 实时 20 FPS 流式。

6.3 开源实时数字人方案

开源生态在「实时交互」这个细分上反超闭源 -- 因为实时场景对延迟、自托管、定制化要求极高:

实时数字人核心技术栈(开源)几乎都是「TTS + LLM + 数字人渲染 + 唇形同步」四件套:

# 一个最简实时数字人 Agent
from RealtimeTTS import TextToAudioStream
from openai import OpenAI
from musetalk_runner import MuseTalkRealTime

# 1. 加载 MuseTalk 实时模型(V100 上 30 FPS+)
musetalk = MuseTalkRealTime(avatar_image="avatar.png")

# 2. TTS 流式合成(Edge-TTS / CosyVoice / ElevenLabs)
tts = TextToAudioStream(engine="edge", voice="zh-CN-Xiaoxiao")

# 3. LLM 推理 + 工具调用
llm = OpenAI()

def chat(user_text):
    stream = llm.chat.completions.create(
        model="gpt-4o", stream=True,
        messages=[{"role": "system", "content": "你是数字人助手"},
                  {"role": "user", "content": user_text}]
    )
    for chunk in stream:
        text = chunk.choices[0].delta.content or ""
        # 4. TTS → 音频 → MuseTalk 唇形同步 → 推流
        for audio_chunk in tts.feed(text):
            musetalk.feed_audio(audio_chunk)
            frame = musetalk.get_frame()  # 30 FPS 视频帧
            yield frame, audio_chunk

七、应用工作流与生态:从单点工具到生产管线

把上面 5 大子领域串起来,才叫「AIGC 工程师」而不是「AIGC 玩家」。下面是 2025-2026 年最高频的两条生产管线。

7.1 ComfyUI 节点式工作流:把上面所有工具串起来

ComfyUI 是 AIGC 工程师的「Photoshop」 -- 一个画布,所有模型、LoRA、ControlNet、IP-Adapter、AnimateDiff、Video Helper 都可以可视化编排。

核心节点生态(2025 年):

• CheckpointLoader / DualCLIPLoader / LoraLoader:模型与 LoRA 加载。
• ControlNetLoader + ApplyControlNet:姿态/边缘/深度控制。
• IPAdapter Unified Loader + IPAdapter Advanced:角色一致性。
• AnimateDiff + SVD_img2vid_Conditioning:静态图变视频。
• IPNMS / SAM 节点:自动蒙版生成。
• Video Helper Suite:视频帧批处理。

7.2 典型生产管线 1:从文案到 60 秒短片

# 完整生产管线示例(伪代码)
1. 文本剧本:Claude/GPT-5 写脚本,拆成 5-10 个分镜
2. 角色表(Prompt Sheet):为每个角色写「一致性提示词 + IP-Adapter 参考图」
3. 文生图:ComfyUI + SDXL/FLUX,逐分镜生成 1080p
4. 局部重绘:Inpaint 节点修正手部、文字、品牌 LOGO
5. 视频化:AnimateDiff 5s 短镜头 或 SVD 4s 过渡
6. 配音:ElevenLabs / CosyVoice 按角色克隆
7. 唇形同步:MuseTalk 把配音对齐到口型
8. 剪辑:CapCut / Premiere 加字幕、BGM、转场
9. 交付:导出 1080p 60s 短视频

这一整套流程在 2024 年要 5-10 人/周,2025 年个人用 ComfyUI + 闭源 API 1-2 天就能完成。

7.3 典型生产管线 2:多镜头一致性(漫画 / 短剧)

多镜头 / 漫画 / 短剧的核心难题是「同一个角色不同场景不能变脸」。2025 年的最佳实践是「IP-Adapter FaceID + ControlNet OpenPose + LoRA 组合」:

1. 准备 5-10 张角色参考图(不同角度、不同表情)
2. 用 IPAdapter Plus Face 锁定脸部特征
3. 用 ControlNet OpenPose 控制每帧姿态
4. 用 LoRA 锁定画风/服装
5. 逐镜头生成,每张图角色一致性 > 95%

进阶方案:InstantID / IP-Adapter FaceID v2 / PuLID(更精细的 ID 一致性)。

7.4 版权与合规:AIGC 不能回避的边界

2024-2026 年,AIGC 版权问题已经从「理论争议」进入「现实诉讼」:

• 训练数据:Suno / Udio 被告「YouTube stream-ripping」,Anthropic 因盗版书赔 15 亿美元(2025)。
• 生成内容:美国版权局明确「纯 AI 生成内容不受版权保护,但人机协作有部分保护」。
• 商业授权:Adobe Firefly(数据已授权)、FLUX schnell(Apache-2.0)、Stable Audio 商用许可 -- 商用优先选这三种。
• 水印:Google SynthID、Adobe Content Credentials(CAI C2PA 标准) -- 行业正在普及。
• 肖像权:HeyGen / Sora 2 Cameos 都要求「现场验证」防滥用;中国《生成式 AI 服务管理办法》要求训练数据 + 生成内容合规备案。

个人玩风险可控;企业商用建议 只选有明确训练数据授权的模型(Firefly / FLUX schnell / Adobe Stock 数据集) + 关键业务人审 + C2PA 水印。

八、数据看板:AIGC 行业全景

截至 2025 年 10 月(数据来源:Artificial Analysis、各公司官网、CB Insights、The Information):

合计 2025 年 AIGC 行业规模约 150-200 亿美元,2026 年预计突破 400 亿美元(企业 ToB 落地 + 短视频内容生产)。

九、入门学习路径:0 基础到能产出

把上面的内容浓缩成一份「4 周学习计划」,每周聚焦一个子领域:

第 1 周:图像生成(最成熟、生态最丰富)

1. 注册 Midjourney,跑 50 个提示词,理解「美学风格」和「负向词」。
2. 本地装 ComfyUI + FLUX schnell(Apache-2.0,显存低),跑通基础文生图。
3. 装 ControlNet + IP-Adapter,做一张「角色一致性」测试图。
4. 产出:10 张高质量图 + 1 个角色一致性工作流。

第 2 周:视频生成(2025 年最热)

1. 注册 Kling 2.6 / 可灵,跑 20 个镜头,理解「图生视频」和「文生视频」差异。
2. 用 Sora 2 / Veo 3 对比,体会物理一致性的代差。
3. ComfyUI 装 Video Helper Suite,跑通 AnimateDiff + SVD 管线。
4. 产出:3 段 15-30s 短视频(角色一致 + 配音)。

第 3 周:音频 + 数字人

1. ElevenLabs 录 30 秒声音,克隆自己的音色,生成多语言 TTS。
2. 用 HeyGen 做一个 60 秒数字人介绍视频,翻译成 5 种语言。
3. 本地装 MuseTalk + LiveTalking,实现实时数字人对话 demo。
4. 产出:1 个多语言数字人视频 + 1 个实时交互 demo。

第 4 周:3D + 工作流整合

1. Tripo3D / Hunyuan3D 2.0 出几个角色 3D 模型,导入 Blender。
2. ComfyUI 串起完整工作流:角色参考图 → IP-Adapter → 文生图 → Inpaint 修正 → AnimateDiff 视频化 → ElevenLabs 配音 → MuseTalk 唇形同步。
3. 产出:1 段 60s 完整 AIGC 短片 + 完整 ComfyUI 工作流文件。

十、决策指南:该选哪个工具?

五大子领域,每个都给出「3 步选型」流程。

10.1 图像生成

• 只要一张图,不折腾 → Midjourney V7 或 Recraft V3
• 需要精准控制(姿态/角色一致) → ComfyUI + FLUX + IP-Adapter + ControlNet
• 商业合规优先(品牌物料) → Adobe Firefly Image 4
• 免费 + 商用 + 本地化 → FLUX.1 schnell + ComfyUI

10.2 视频生成

• 英文广告/电影感 → Sora 2 / Veo 3 / Runway Gen-4.5
• 中文场景(口播/直播) → Seedance 2.0 / Kling 2.6
• 人物动态(SOTA) → Kling 2.0/3.0
• 图生视频(给定首帧) → Kling 2.0 或 Vidu Q2
• 预算 < 1 元/秒 → Wan 2.6 / Seedance 2.0(720P) / Kling 2.5 Turbo

10.3 音频/音乐

• 商用 TTS / 数字人配音 → ElevenLabs / MiniMax Voice Design
• 实时流式(< 300ms) → Cartesia Sonic / Inworld TTS-1.5
• 音乐生成(录音室级) → Suno v5.5 / Udio
• 音乐商用无版权风险 → Adobe Firefly Music / Stable Audio 2
• 声音克隆(开源) → RVC / GPT-Sovits / CosyVoice

10.4 3D 生成

• 游戏资产生成 → Tripo3D v3.0 + Blender
• 开源 + PBR → Hunyuan3D 2.0/2.5(腾讯)
• 超快单图重建 → Stable Fast 3D / TripoSR(开源 0.5s)
• NeRF/3DGS 场景重建 → 3DGS 原版 / Luma AI / Polycam

10.5 数字人

• 录播数字人视频 → HeyGen Avatar 3.0(中英日韩最佳)
• 企业级 + 230+ 预制形象 → Synthesia 2.0
• 实时交互 / 虚拟客服 → LiveTalking(开源) + MiniMax Chat
• 直播 / 二次元 VTuber → Open-LLM-VTuber / ChatVRM + MuseTalk

十一、章节总结

• ✅ AIGC 五大子领域 - 图像、视频、音频/音乐、3D、数字人 -- 在 2025-2026 年同时进入「产品爆发期」,每个赛道都有清晰的开源/闭源梯队。
• ✅ 图像:闭源 Midjourney V7 + 开源 FLUX 1.1 Pro/Ultra Raw 双线竞争,ComfyUI + ControlNet + IP-Adapter 是「控制类」应用的必选栈。
• ✅ 视频:Sora 2 / Veo 3 海外旗舰 + 可灵 / Seedance / Vidu / 海螺国产精品 + Wan / CogVideoX 开源追赶,2025 年国产在物理动态和价格上反超。
• ✅ 音频:Suno v5.5(录音室级 + 声音克隆)、ElevenLabs(Voice Design + 多语言)、MiniMax Speech 构成 TTS/音乐三巨头,声音克隆 RVC/GPT-Sovits 是开源标配。
• ✅ 3D:Tripo3D v3.0 + Hunyuan3D 2.5(腾讯开源)+ TRELLIS(Microsoft)是文/图生 3D 主流,3DGS 正在成为下一代场景重建基础。
• ✅ 数字人:HeyGen / Synthesia / D-ID 商业化成熟,LiveTalking / MuseTalk / Open-LLM-VTuber 开源实时方案反超闭源。
• ✅ 真正的护城河是「工作流编排」-- ComfyUI 把所有模型/工具可视化串联,AnimateDiff + SVD + IP-Adapter 实现角色一致性的多镜头叙事。
• ✅ 版权与合规:Suno / Udio 已被三大唱片公司起诉,商用优先选有授权数据的模型(Firefly / FLUX schnell / Stable Audio)。

十二、视频学习:AIGC 底层原理与多模态实战

AIGC 工具更新快,选型靠「跑分 + 试错」,但底层原理(Transformer / Diffusion / DiT)几年都没变。看完 Karpathy 的两个长片,你对当下 Sora / Veo / 可灵 / SVD 等所有视频模型的「可控性 / 限制 / 迭代方向」会建立统一判断框架。