超越comfyUI,实现SDXL双模型联用的WebUI插件
2023-08-04 23:04:22 哔哩哔哩

细心的AI绘画爱好者可能发现,SDXL的默认模型不仅体积大,而且有两个。

一个是base,一个是refiner。


(资料图片仅供参考)

根据官方文档,这两个模型的用途不完全一样。

sdxml -:生成1024 x 1024图像的基本文本到图像模型。基本模型使用OpenCLIP-ViT/G和CLIP-ViT/L进行文本编码。

sdxml -:一个图像到图像的模型,用于细化基本模型的潜在输出,可以生成更高保真度的图像。细化模型只使用OpenCLIP-ViT/G模型。

SDXL 的refiner是基于OpenCLIP-ViT/G的具有参数模是目前可用的最强大的开放访问图像模型之一。

base模型在第一阶段创建(有噪声的)结果,然后由专门为最后去噪步骤设计的refiner模型进一步处理(基本模型也可以作为一个模块单独使用)。

简单总结,base是一个“底座”大模型,而refiner可以对base生成的图片进行优化(去噪声)。

当然了,经过我的实测,有时候这个优化是负优化... ...

根据官方文档,SDXL需要base和refiner两个模型联用,才能起到最佳效果。而支持多模型联用的最佳工具,是comfyUI。

使用最为广泛的WebUI(秋叶一键包基于WebUI)只能一次加载一个模型,为了实现同等效果,需要先使用base模型文生图,再使用refiner模型图生图。

操作繁琐。

后来,comfyUI除了WebUI用的插件,实现了在WebUI以插件的形式可以轻松的切换到comfyUI界面。我也做了介绍,但依然存在一个问题:comfyUI的操作习惯和WebUI完全不同,非常不便。

于是,有人做了一个插件,让WebUI可以同时加载两个模型,使用base模型跑图后接着用refiner模型优化,实现和comfyUI几乎一样的效果,操作方式却是完全WebUI化的。

当然了,和comfyUI相比,还是逊色一点,这个插件只能支持多挂载一个模型,不能像comfyUI那样任意挂载N多模型。

从实用的角度来说,SDXL一个模型出图,一个refiner模型优化就足够了。

这个插件的名字,就叫Refiner。

/wcde/sd-webui-refiner

(国内访问GitHub不太稳定,多试几次,一般十分钟内肯定可以)

安装完毕后,首页左下角会有Refiner选项。

使用的时候,点击启用,选中模型和迭代步数就可以了。推荐迭代步数10-20之间。

让我们试一下。

提示词:

portrait of a beautiful anime girl wearing a gothic dress, in a dark and moody atmosphere filled with white mist, indoor dimlight, (black and red ink splash:) embedding:SimplePositiveXLv1

模型使用base,不使用Refiner的情况下。

使用Refiner,迭代步数10。

PS,最近C站放出了修复原生bug的base模型和Refiner模型,从模型名可以看出,我用的是修复后的模型。

和comfyUI相比,缺乏直观的生成过程对比,略有一丝丝缺憾。

但是操作简便,不用修改使用习惯,足以弥补缺憾。

猜你喜欢