摘要 :
ComfyUI 深度重绘是一种借助图像深度信息对已有图像进行局部或整体重绘,从而生成具有不同风格、内容图像的强大功能。以下为你详细介绍其工作原理、工作流程和相关要点……


ComfyUI 深度重绘是一种借助图像深度信息对已有图像进行局部或整体重绘,从而生成具有不同风格、内容图像的强大功能。以下为你详细介绍其工作原理、工作流程和相关要点。
深度重绘主要利用 ControlNet 的深度模型来实现。深度模型可以分析图像中各个物体的深度信息,也就是物体与相机的距离关系,生成深度图。在重绘过程中,这个深度图会作为额外的控制信息,引导 Stable Diffusion 等模型按照图像的深度结构进行图像生成,从而使重绘后的图像在保持原有场景深度关系的同时,呈现出新的风格或内容。
- 模型加载:
- 通过 “Checkpoint Loader” 节点加载基础的 Stable Diffusion 模型,不同的模型在生成图像的风格和质量上有所差异,可根据需求选择合适的模型,如 Anything V3 等擅长动漫风格的模型,或者 Realistic Vision 等写实风格的模型。
- 使用 “ControlNet Loader” 节点加载深度模型,常见的深度模型如 “control_v11f1p_sd15_depth”。
- 图像加载:使用 “Load Image” 节点加载需要进行深度重绘的原始图像。
将加载的原始图像连接到深度模型对应的预处理器节点(如 “ControlNet Preprocessor – Depth”),该节点会分析图像并生成深度图。深度图以灰度形式表示图像中物体的深度信息,较亮的区域表示距离相机较近,较暗的区域表示距离相机较远。
- 正向提示词:在 “CLIP Text Encode” 节点输入正向提示词,详细描述你希望重绘后的图像具有的特征,包括风格(如 “赛博朋克风格”“水彩画风格”)、主题内容(如 “充满未来感的城市街道”“奇幻的森林”)、色彩(如 “冷色调”“暖色调”)等。例如:“赛博朋克风格,充满霓虹灯的未来城市街道,暖色调”。
- 反向提示词:同样在 “CLIP Text Encode” 节点输入反向提示词,排除不想要的元素,如 “模糊的画面”“奇怪的比例”“不协调的颜色” 等,以提高生成图像的质量和准确性。
- 将生成的深度图连接到 “ControlNet” 节点,再将 “ControlNet” 节点连接到 “K Sampler” 节点。这样,深度图的信息就会在图像生成过程中起到控制作用。
- 在 “ControlNet” 节点中设置相关参数,如 “Control Weight”(控制深度信息对生成图像的影响程度,值越大,深度信息的影响越明显)、“Start Step” 和 “End Step”(控制在采样过程中从哪一步开始和结束应用深度信息)。
在 “K Sampler” 节点中设置采样参数,如采样器类型(常见的有 DPM++ 2M Karras 等)、采样步数(一般 20 – 50 步,步数越多图像可能越精细,但生成时间也会增加)、CFG Scale(控制提示词对生成图像的影响程度,通常取值 7 – 12)等。设置好后,点击 “Queue Prompt” 按钮开始生成图像,模型会根据深度信息、提示词和采样参数进行重绘,最终通过 “VAE Decode” 节点得到重绘后的图像。
- 深度图质量:深度模型生成的深度图质量会影响重绘效果。如果原始图像的深度信息不明显或存在复杂的场景,可能会导致深度图不准确,从而影响重绘结果。可以尝试对原始图像进行预处理或选择更清晰、深度结构更明显的图像。
- 参数调整:不同的图像和需求可能需要不同的参数设置。需要不断尝试调整 “ControlNet” 节点和 “K Sampler” 节点的参数,以获得理想的重绘效果。例如,增加 “Control Weight” 可能会使重绘后的图像更贴合原始图像的深度结构,但也可能导致风格变化不明显;调整 “CFG Scale” 可以平衡提示词和深度信息对生成图像的影响。
- 结合其他 ControlNet:可以将深度重绘与其他 ControlNet 模型(如 Canny 边缘检测、OpenPose 姿态估计等)结合使用,实现更复杂的图像重绘效果。例如,同时使用深度信息和边缘信息来控制图像的结构和细节。
还没有评论呢,快来抢沙发~