跳至正文

ComfyUI被玩明白了!Scale 2角色替换工作流,一张照片替换视频里的任何人,12GB显存免费本地跑完整教程

  • 由

← 返回博客

兄弟们,AI视频圈又炸了!

以前你想把视频里的人换成自己的照片,要么得手动一帧帧抠图,要么用那种效果贼差的换脸工具——出来的视频跟鬼片似的,脸是飘的,动作对不上,体态稍微不一样就直接翻车。

但今天要说的这个开源工作流,直接把这个问题干碎了。

它就是ComfyUI Scale 2 角色替换工作流——你只需要一张照片 + 一段视频,Scale 2 就能把视频里所有人的动作完美迁移到你照片的角色身上。而且最骚的是:不管你是真人换真人、卡通角色跳真人的舞,还是二次元妹子做广播体操,它都行。

最关键的是:完全免费,本地运行,12GB显存就能跑。

Scale 2 牛在哪?

先说说以前的技术有什么毛病,你才知道Scale 2为什么是划时代的。

之前的角色替换工作流(比如VamAnime)主要靠骨骼关键点匹配——就是检测视频里人物的关节位置,然后把你的照片贴上去。这有一个致命问题:如果照片里的人和视频里的人体态不一样(比如视频里是个胖子,你照片是瘦子),骨骼位置对不上,结果就崩了。

而且之前的方案还需要你手动框选要替换的区域,如果视频里有多个人,你得一个个点,极其麻烦。

Scale 2 的突破在于它用了全新的人物网格匹对技术。不是找骨骼,而是把人物轮廓转成网格,再用网格和网格做匹配。这就意味着:

✅ 跨体型迁移 — 不管胖瘦高矮,甚至卡通角色都能完美适配真人动作
✅ 多人替换 — 视频里有3个人跳舞?一次全换了,连肢体纠缠的复杂动作都能还原
✅ 无需手动选区 — 自动检测人物轮廓,你只管上传图片和视频

准备工作:你需要这些东西

在开始之前,先确认你电脑上有这些。少一样都跑不起来。

项目 要求 去哪弄
ComfyUI 最新版(至少2026年7月后版本) GitHub搜索”ComfyUI”官方项目,下载整合包或手动安装
显卡 12GB以上显存(NVIDIA) RTX 3060 12G / RTX 4070 / 4090 等
内存 32GB以上(推荐64GB) Scale 2 分段渲染时可能吃掉大量内存
Scale 2 主模型(FP8) 约15GB,适合12GB+显存 HuggingFace搜索”scale2 fp8″
Scale 2 主模型(FP4) 约10GB,省显存版 HuggingFace搜索”scale2 fp4″
RM3.1 抠图模型 约2GB,用于自动抠出角色 HuggingFace搜索”rm3.1 background removal”
Scale 2 工作流文件 JSON格式,拖入ComfyUI即用 网上搜索”Scale 2 ComfyUI workflow”

⚠️ 注意:如果 HuggingFace 打不开(国内被墙),可以用百度搜索”Scale2 FP8 模型下载”或者”RM3.1 抠图模型”,一般有国内网友分享的网盘链接。不过个人更推荐直接挂个代理访问HuggingFace,模型版本最新最全。

Step 1:把ComfyUI更新到最新版

这一步被无数人跳过,然后跑来问”为什么报错”——ComfyUI 必须是最新版,Scale 2 需要新版内置的节点支持。

怎么更新:

# 如果你是git安装的,进ComfyUI目录运行:
git pull

# 如果你用的是整合包,去官网重新下载最新整合包
# 或者用一键更新脚本(大部分整合包都带)

验证是否更新成功:

# 启动ComfyUI,看控制台输出的版本号
python main.py
# 看到类似 "ComfyUI v0.3.x" 的字样就对了

⚠️ 注意:如果不更新,运行 Scale 2 工作流时会报节点不存在错误。别问我怎么知道的,群里天天有人问。

Step 2:下载并放置模型文件

你需要下载以下模型,全部放进 ComfyUI 安装目录下的 models/ 文件夹里:

① Scale 2 主模型(二选一)

# FP8版 ≈15GB → 适合12GB+显存,效果最好
# FP4版 ≈10GB → 适合显存不大的显卡,效果稍差但也能用
# MX版 → 专门针对NVIDIA 50系显卡优化

# 下载后放到:
ComfyUI/models/checkpoints/scale2_fp8.safetensors
# 或
ComfyUI/models/checkpoints/scale2_fp4.safetensors

② RM3.1 抠图模型

# 用于自动剥离角色背景,让Scale 2准确识别替换主体
# 下载后放到:
ComfyUI/models/rm3.1/rm3.1.safetensors

③ LoRA 加速模型

# 同样放到 models/ 下对应的文件夹
# 实测 i2v 和 t2v 类型的 LoRA 都可以用

验证模型放置正确:重启ComfyUI,在加载工作流后,检查节点上的模型选择下拉框里是否能找到你放的模型名。能找到就说明路径对了。

Step 3:加载 Scale 2 工作流

找到你下载的 Scale 2 工作流 JSON 文件,直接拖进 ComfyUI 网页界面就行。

加载后你会看到这样的结构:

工作流分几个大模块——其实你不用全看懂,只需要关注标红的参数设置区和素材上传区。其他节点都是自动串联好的,一个都别碰。

工作流模块一览:
├── 参数设置区(红色标记) ← 你只管改这里
│   ├── 视频分辨率(宽×高)
│   ├── 帧率(fps)
│   ├── 总帧数
│   ├── 提示词描述
│   └── 替换人数
├── 素材上传区(红色标记) ← 这里传图片+视频
│   ├── 角色图片(要替换成的人)
│   └── 驱动视频(要模仿的动作)
├── 模型选择区 → 选你下载的模型
├── 抠图模块 → RM3.1 自动抠角色
├── Scale 2 网格匹对模块 → 核心技术,自动匹配
├── 分段渲染模块 → 每段81帧,自动接力
└── 视频封装模块 → 输出对比+单独视频

✅ 验证:拖入工作流后,所有节点应该显示为白色/连接状态,没有红色报错节点。如果有红色节点,说明缺模型或版本不对。

Step 4:设置参数(最核心)

在工作流的参数设置区,你要调这几个参数:

4.1 视频分辨率(宽×高)

根据你的显卡显存来设。右边的下拉框有常用分辨率可以直接选:

# 显存参考
12GB 显存 → 最高 768×768 或 832×480
16GB 显存 → 最高 896×512 或 1024×576
24GB 显存 → 可以干到 1040×1040(用FP4模型)

# 经验:分辨率越高,人物细节越好,手指越自然
# 如果爆显存了,就降一档分辨率

4.2 帧率(fps)和总帧数

这两个决定了视频的流畅度和长度:

# 帧率建议
16 fps → 够用,动作基本流畅(推荐)
24 fps → 丝滑,但渲染时间多50%
30 fps → 电影级,等得起就上

# 总帧数:视频时长 = 总帧数 ÷ fps
# 比如 81帧 ÷ 16fps ≈ 5秒视频
# Scale 2 是分段渲染的,每段81帧,超出会自动切到下一段

4.3 提示词(Prompt)

简单写一下就行,不要求复杂:

# 写清楚角色在干什么
"a person dancing"        → 跳舞
"a woman playing basketball" → 打篮球
"a man walking"           → 走路

4.4 替换人数

默认值是2。如果你的视频里只有1个人要替换,改成1。如果有3个人跳舞,改成3。

# 替换人数不要错,否则工作流不知道要替换几个角色
replace_count = 你视频里要替换的人数

Step 5:上传素材

在素材上传区,你需要准备两样东西:

① 角色图片 — 你想换成谁的照片

# 要求:
# - 清晰正脸或半身照
# - 背景不要太复杂(RM3.1会帮你抠)
# - 一个人一张图(多人替换请准备多张)

② 驱动视频 — 你要模仿的动作视频

# 要求:
# - 视频里人物动作清晰
# - 不要太长(建议10秒以内)
# - 多人视频建议先截一帧处理一下

⚠️ 注意:角色图片一定要和驱动视频里的人物”姿势方向”大致匹配。比如视频里人物是站着的,你上传一张坐着的照片,效果会打折扣。Scale 2 能跨体态,但不是魔法——基本的匹配逻辑还是要的。

Step 6:开始渲染!

所有参数设好,素材上传完,就可以点 ComfyUI 右上角的 “Queue Prompt” 按钮了。

Scale 2 采用分段渲染机制:

渲染流程:
第1段 → 采样区1(前81帧) → 完成后自动进入
第2段 → 采样区2(81-162帧) → 继续...
第3+段 → 分段循环模块(自动计算剩余帧数)
最后 → 封装模块(输出对比视频 + 单独迁移视频)

这种分段机制的好处是省显存——不用一次把所有帧全加载进显存,而是每段渲染完释放再加载下一段。

怎么判断在正常跑:

# 看ComfyUI控制台输出
# 正常跑的时候会有类似:
"Sampling 1/81 frames..."
"Segmentation 1 complete, moving to segment 2..."
"Final compositing..."

渲染时间参考:

显卡 分辨率 5秒视频用时
RTX 4060 12G 768×768 约8-12分钟
RTX 4070 Ti 896×512 约6-8分钟
RTX 4090 1024×576 约3-5分钟

⚠️ 注意:渲染期间尽量别动电脑,别开其他大软件。Scale 2 工作流在满载时可能吃掉高达49GB内存!如果你只有16GB内存,建议关掉所有浏览器标签页再跑。

进阶技巧:多人替换的正确姿势

视频里有2-3个人想一起换了?跟单人替换的流程差不多,但有一个关键步骤不能省——预处理角色图片。

怎么做:

1. 从驱动视频里截取一帧画面(人物姿势最清楚的那一帧)
2. 把这一帧 + 你想替换的角色图片 上传到 Midjourney 或 Leonardo AI
3. 输入提示词:"把图1的男生换成图2,女生换成图3,保持图1的人物姿势不变"
4. 等AI生成替换好角色的预览图
5. 把这张预处理后的图片作为角色素材上传到 Scale 2 工作流
6. 替换人数设为你视频中的实际人数
7. 开跑!

为什么要多这一步?因为如果直接传单人照片去替换多人视频,Scale 2 不知道哪个角色对应哪张照片。预处理图片相当于”告诉”Scale 2:这个人站在哪个位置、什么姿势。

常见问题

Q:跑起来报”Out of Memory”怎么办?

三个方向排查:

① 降分辨率——这是最有效的。从当前分辨率往下降一档试试。

② 换FP4模型——FP4只有10GB,比FP8省5GB显存。

③ 关掉其他程序——特别是浏览器。Scale 2 分段渲染本身对内存要求就高。

Q:生成的角色脸不像怎么办?

检查你的角色图片是不是足够清晰。最好用正面照、五官清楚的照片。另外分辨率越高,人物细节保留越好。

Q:怎么找到 Scale 2 的工作流和模型文件?

模型文件去 HuggingFace 搜索 “scale2 fp8” 或 “scale2 fp4” 就能找到。工作流 JSON 文件可以在 GitHub 上搜 “ComfyUI Scale 2 workflow”,一般会有热心网友分享。如果在国内用不了 HuggingFace,试试在百度搜索 “Scale2 模型网盘下载”。

Q:驱动视频里的动作太复杂,效果不好?

Scale 2 对单人简单动作(走路、跳舞、挥手)效果最好。如果视频里涉及到抱人、翻滚、遮挡等复杂动作,效果会打折扣。建议从简单的动作开始练手。

Q:能不能替换视频里的脸但是保留原身体?

Scale 2 是做全身角色替换的,不是做换脸。如果你只换脸,可以试试其他换脸工作流(比如IPAdapter+FaceID)。

总结

Scale 2 是目前为止我见过最实用的开源角色替换工作流。它解决了两大历史难题——跨体态迁移和多人自动替换——而且门槛只有12GB显存。

对于AI视频创作者来说,这绝对是一个值得花时间研究的工作流。不管是做短视频、AI短剧、还是搞创意内容,Scale 2 都能帮你省下大量的后期时间。

最后给新手一个建议:先拿单人跳舞的视频练手,跑通了再挑战多人替换。一步一步来,你会发现这玩意儿真的太香了。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注