Stable Diffusion“图生图”蒙版重绘(Inpaint Anything蒙版生成)基本操作简要

摘要:ai绘画软件Stable Diffusion是一种通过模拟扩散过程,将噪声图像转化为目标图像的文生图模型。而Stable Diffusion的图生图以及对应的蒙版重绘功能可以帮助我们对现有图片的部分区域进行“重新绘制”。这个功能的应用可谓十分广泛,而在本次案例中我们将应用其对图片人物进行服装重绘也就是“换衣”效果,来演示Stable Diffusion的“蒙版重绘”的一些基本操作。

关键词:Stable Diffusion;ai;图生图

正文:

1、引言

ai绘画软件Stable Diffusion是一种通过模拟扩散过程,将噪声图像转化为目标图像的文生图模型,具有较强的稳定性和可控性,可以将文本信息自动转换成高质量、高分辨率且视觉效果良好、多样化的图像。在日常工作中,ai绘画软件Stable Diffusion可为设计师提供脑洞大开的创意素材以及处理图像修复、提高图像分辨率、修改图像风格等任务,辅助实现创意落地。

而Stable Diffusion的图生图以及对应的蒙版重绘功能可以帮助我们对现有图片的部分区域进行“重新绘制”。这个功能的应用可谓十分广泛,而在本次案例中我们将应用其对图片人物进行服装重绘也就是“换衣”效果,来演示Stable Diffusion的“蒙版重绘”的一些基本操作。

图1-1

2、蒙版绘制

首先,我们启动Stable Diffusion后将模块切换到Inpaint Anything

如果没有“Inpaint Anything”模块,则需预先安装

图2-1

下一步,我们选择适合的蒙版AI模型,如果第一次使用可点击一下旁边的“下载模型”来下载该模型(模型通常体积较大,耐心等待)。这里我使用“sam_vit_l_0b3195.pth”

选择模型后,我们点击图片上传区域,选择你要重绘的图片文件。

上传成功后,单击“运行”,右侧生成“色块”图。

图2-2

长按滑动鼠标,划线标记选择对应的色块(即重绘区域),也可反向选择后单击“反转蒙版”。

图2-3

然后,单击创建

很快,在下方就生成了蒙版预览(高亮部分)。

图2-4

我们可以使用画笔再次对蒙版精修,下方按钮中“修剪”和“添加”,对应的就是将你精修时画笔涂抹的区域进行一个“剔除”与“添加”。

而“展开蒙版区域”则是对应下方数字,将蒙版外围扩展对应像素值(边缘扩张)。

图2-5

3、图生图重绘

3.1 图生图重绘

一切修整完整后,单击左侧“获取蒙版”,将蒙版导过去(白色部分即为蒙版),然后再单击下方按钮,发送到图生图模块。

图3-1

来到了图生图模块的重绘蒙版,可以看到已经将原图与蒙版均导入了过来。

图3-2

然后我们调节对应参数。

图3-3

这里简单解释一下几个重要参数:

缩放模式:对应下方的“重绘尺寸”,也就是以什么方式将原图缩放或裁剪到“重绘尺寸”。因为我们尺寸是同步的原图,所以这里默认不做更改。

蒙版边缘模糊度:对蒙版边缘二次模糊处理,模糊值高结果就是AI重绘后边缘和原图过度更自然缓和,没有明显边界感。

蒙版模式:两种模式对应是对于蒙版区域重绘,还是蒙版以外区域重绘,这里具体以蒙板情况而定。

蒙版区域内容处理:重绘蒙版过程中,对于蒙版区域内容生成参照模式。填充,即为完全按照关键词自由发挥,不考虑是否与原图协调;原版,与前者正好相反,这里我们为了生成内容整图协调,所以开启。

重绘区域整张图片,对蒙版区域细节刻画较差;仅蒙版,精度高,蒙版区域细节刻画较好。

重绘幅度:对原图的更改幅度,或者说AI自由创造的权重。低于0.3重绘图片几乎和原图无分别。

3.2 ControlNet姿态调节

我们可以适当选择辅助功能插件,这里我们使用ControlNet插件的“OpenPose姿态”功能对生成姿态进行一个调整限制。

图3-4

第一步,展开ControlNet菜单,依次选择并开启启用”,“完美像素模式”,“上传独立控制图像”,“允许预览几个选项。同时再在下面选择“OpenPose(姿态)

这里如果预先准备了骨骼图像,可直接上传

图3-5

这里因为没有预先准备骨骼图,所以我选择导入参考图像预处理生成。

图3-6

滑到下面,选择生成骨骼图的预处理器。这里我选择识别效果比较好的“dw_openpose_full”预处理器,并单击运行执行预处理。

注意:此时如果你已经准备了对应的骨骼图像,并上传。请将此处预处理器设置为“none”,并直接跳过该预处理步骤。

图3-7

这样,在右侧预览框就成功的生成了参考图对应的骨骼图,但我们要对骨骼图做一些必要的微调修整。

下一步,单击“编辑”

图3-8

网页会弹出并打开sd-webui-openpose-editor编辑器

图3-9

在这里,我们可以对骨骼进行一个手动的调整。完成后,一定要单击左上角“发送姿势到ControINet”保存发送回ControINet。

3.3 关键词设置

输入关键词,注意关键词的内容直接会影响到重绘效果。

图3-10

单击“生成”

图3-11

4、效果对比

图4-1 AI图
图4-2 原图

我们可以看到,重绘的效果还是可以的。

当然,其中也依然存在很多错误部位。对此,我们可以在蒙版绘制,参数调节,关键字等这些步骤中进行一些优化,便可以获得一个更好的效果。

© 版权声明
THE END
喜欢就支持一下吧
点赞0 分享
留言 抢沙发
头像
来都来了,不说两句?
提交
头像

昵称

取消
昵称表情代码图片

    请登录后查看评论内容