视频转绘真

基于 Diffutoon 的工作流

1. 插件安装：目前 Diffutoon 插件在 ComfyUI 管理器中无法直接搜索到，需通过 Git URL 进行安装。模型会在第一次运行时自动下载。
2. 节点设置：
   • 视频加载：使用 “加载视频” 节点上传需要转绘的真人视频。
   • 提示词设置：在正反提示词框中输入基础提示词，描述想要的转绘效果，比如 “逼真的油画风格”“细腻的水彩风格” 等。
   • 模型加载：SDPathLoader 节点第一次运行时会自动下载默认的 SD1.5 绘画大模型，ControlNetPathLoader 节点参数保持默认，若 ComfyUI 和 SD WebUI 共用模型出现问题，可将 ControlNet 模型复制一份到 ComfyUI 的 ControlNet 模型目录下。
   • DiffutoonNode 设置：“start” 参数用于设置从视频的第几秒开始转绘，“length” 参数设置需要转绘的长度，“cfg_scale” 值会影响最终视频效果，“animatedif_batch_size” 与显存有关，值越小使用显存越小，“animatediff_stride” 一般和 “animatedif_batch_size” 保持一致，“vram_limit_level” 可根据内存情况设置。
3. 生成与预览：设置好参数后运行工作流，生成转绘真视频，可通过视频预览节点查看效果，如有需要可调整参数重新生成。

基于 AnimatedDiff 和 ControlNet 的工作流

1. 模型与节点准备：加载 AnimatedDiff 相关模型以及 ControlNet 模型，如深度模型等，同时准备好 “CLIP Text Encode”“K Sampler” 等基础节点。
2. 视频与提示词处理：使用相应节点加载视频，在 “CLIP Text Encode” 节点中输入提示词，描述希望转绘真后的视频效果，例如 “具有真实光影效果的古典绘画风格视频”，并设置好反向提示词排除不想要的元素。
3. AnimatedDiff 设置：选择合适的 AnimatedDiff motion module，根据模型选择对应的 beta schedule，通过调整 “motion scale” 控制运动强度，设置 “context length” 保证场景过渡流畅。
4. ControlNet 设置：使用 “apply controlnet” 节点，设置好相关参数，如选择合适的 ControlNet 模型，通过调整强度、起始百分比和结束百分比等参数，精确控制转绘过程中图像的空间信息，使生成的绘画风格视频更接近真实绘画效果。
5. 采样与生成：在 “K Sampler” 节点中设置好采样参数，如采样步数、采样器类型等，点击生成按钮，AnimatedDiff 结合 ControlNet 根据提示词和各种参数生成转绘真视频。

基于 DiffSynth – Studio 的工作流

1. 工作流导入：将基于 DiffSynth – Studio 的工作流下载后导入到 ComfyUI 中，若存在缺失节点，根据提示进行安装并重启 ComfyUI。
2. 视频与模型加载：前半部分工作流主要是上传需要转换的视频，以及加载模型、ControlNet 控制节点。DiffSynth – Studio 是一款 Diffusion 引擎，它重构了相关架构，支持多种模型，如 Flux、CogVideoX – 5b 等。
3. Diffutoon 节点设置：在 Diffutoon 节点中，通过 “start” 参数控制从视频的哪一秒开始着色转换，“length” 参数调整视频的生成长度，以此来处理视频转绘。
4. 视频预览：使用视频预览节点查看转绘效果，根据实际情况调整参数，直到达到满意的转绘真效果。