1、SD主流 UI
Stable Diffusion(SD)由于其开源特性,有着较高的受欢迎程度,并且基于SD的开源社区及教程、插件等,都是所有工具里最多的。基于SD,有区别的操作界面,能够理解为一个工具的区别客户端。WebUI和ComfyUI是两种较为流行的操作界面选项 WebUI :优点:界面友好,插件丰富,新手小白基本亦能秒上手
缺点:吃显存,对配置需求较高,出图较慢
2. ComfyUI :优点:性能好,速度快,支持工作流的导入导出分享,对小显存友好(GPU少于3G以下依然能够工作),基于工作流,对出图规律理解更清晰
缺点:对新手用户不太友好,有必定学习成本
二者各有优缺点,按照自己状况选取就可。
我为什么选取Comfyui?Comfyui的热度连续提升,在谷歌搜索上,有越来越多的人起始关注Comfyui。为何会有越来越多的人关注?由于大众运用webui久了之后,发掘很难对生成过程有完全的掌控,或一张照片的生产不是点击几下就能完成的,它有非常多到工序:主体、配景、背景、风格、文字、特效等等各样各样的细节问题必须去掌控,倘若所有采用webui,操作起来非常麻烦,所有必须反复手工(尤其是要守在电脑前一个个去操作),而采用Comfyui,搭建完工作流程后,只必须点击运行,就可全流程自动完成。
2、ComfyUI 能干啥?1. 基本文生图2. 基本图生图3. 真人转动漫/动漫转真人4. 线稿上色5. 老旧照片修复6. 隐匿艺术字7. 改变名人姿态8. 四维彩超宝宝长相预测9. 红包封面10. 真人电子AI写真定制11. 赛博朋克风格转换12. 专属表情包13. 手机壁纸14. 更加多:这儿不一一举例了,类似的玩法在网上能够看到非常多,ComfyUI只是一个工具,详细怎样应用,就要依靠自己的想象力了
ComfyUI 安装方式
1.在b 站或后期圈gzh (附带工作流)下载整合包完成后而后解压。
运用的磁盘最好有20g以上的空间,由于再下载有些模型还是比较占用磁盘空间的。
“A绘世起步器.exe”文件即为一键起步文件,能够先不起步,先下载好模型。
下载模型,或和webui共用模型 模型文件一般以.safetensors结尾。
首要将comfy ui根目录下的“extra_model_paths.yaml.example”文件重命名为“extra_model_paths.yaml”。
而后将base_path:后面改为你的webui目录:
点击“A绘世起步器.exe”。起步后软件会自动更新有些文件,通常不会很久。
而后点击右下角的“一键起步”,第1次起步,可能比较慢,等一会就可,起步完成会自动打开浏览器。倘若运用过程中遇到问题,能够查看左下角“掌控台”页面里的日志。
设置中文 第1次打开倘若是英文,能够设置一下语言。先点击小齿轮,进入设置页面:
而后滑到最下面,找到:AGLTranslation-langualge选项,改为中文就可。
ComfyUI 工作流基本教程
No.1
文生图工作流
原理简介
1、首要将prompt文本转换为词特征向量
2、词特征向量和随机图向量一块encode降维输入潜空间,进行屡次降噪
输出图 = 输入图 -【(按照prompt预测的噪声+按照随机图预测的噪声-按照随机图预测的噪声)* 权重系数 +按照随机图预测的噪声】* 降噪次数
3、输出数据decode
在软件中,已然内置了许多工作流模版,下图对文生图做为基本工作流的各模块进行一个简单介绍。
下图中工作流对应文生图原理,按照Base Model生成词特征向量和随机图进行解码、屡次降噪、并编码生成照片。
ComfyUI 文生图基本工作流
提示词撰写
写提示词必须重视,长度约60字,SD的提示词不像自然语言生图的工具直接组织为句子输入,输入形式为重要词摆列,越重要的越靠前,或运用权重设置如(keyword:1.4)加强权重;(keyword:0.7)降低权重
Prompt内容通常包括 主体环境(地点,灯光,天气)作画形式(油画、水粉、素描、相机……)风格(年代、名人、艺术类型、国家……)其他重视事项 构图意见运用图生图在prompt中运用别人训练好的embedding模型能够生成特定的视觉特征(某特定名人、某物种……) embedding:filename尺寸设置
宽和高必要是8的倍数,Batch_size决定了一次生成多少张图像(可能影响速度,意见一次一张)
尺寸设置参数
采样器参数设置
(参数设置能够参考模型作者供给的最佳方法)
Seed:随机种子数,这个数字掌控每次生成的照片类似程度,照片必须保持一致的时候,该数字不变
Control-after-generated:
生成完之后种子数的变化状况设置
Step:降噪步数
CFG:Prompt权重系数(通常6-8)
Sampler-name:采样器名叫作
Scheduler:调度器名叫作(降噪)
Denoise:初始噪声(文生图通常为1)
Lora配置
添加lora模块,更改clip、model连线,更换作者举荐的Vae模块等其他参数
添加模块
起步
此时设置完所有的模型和参数,根据教程的参数设置运行后依然会发掘出图很糊,据述M系列Mac容易遇到该问题,按照教程,在终端pip安装 torchvision==0.16.2,成功处理该问题。
打开终端进行pip安装,输入 torchvision==0.16.2
处理照片输出模糊的问题
No.2
图生图工作流
办法一:重绘 - 基于输入图进行重新绘制
输入图代替随机图,和文字一块做为潜空间的输入。
办法二:参考 - 基于输入图参考进行内容弥补(unCLIP)、风格迁移(Style)拓展
先对图文进行解码,而后和随机图一块输入潜空间
unCLIP model workflow
针对unCLIP重绘方式,能够直接运用模版搭好的工作流,其中增多了上图所示三个模块,并将初始CheckpointLoader、对应的unclip模型进行替换(模型:sd2.1-unclip, 对应随机图尺寸 768 * 768)
当运用两张图进行元素融合,能够看到结果大致实现将鸭子和水波元素进行了混合,但与预期效果差距很强,但融合的元素难以掌控,若要加强符合预期的质量仍然必须进行更加多的参数调节。
初始输入照片高度调节为768 跑unCLIP工作流
Style model workflow
风格迁移工作流中则必须将上传的照片编码为向量、理解风格、理解提示词,经过Style节点处理后导入采样器,通常为名画、名人雕塑类。
跑Style Model Workflow
此处运用了新海城画风的照片输入,整体而言,风格更加依赖模型,一样参数下,模型AnythingElse为二次元专用生成为了左边的效果,DreamShaper为写实风生成为了右边的效果,输出图风格更加多与模型风格、prompt内容更关联,与上传的风格迁移的参考照片关系不大。
AnythingElse(左),DreamShaper(右)
ComfyUI 工作流分享(照片水印)
6 月工作流更新
AI模特、AI换脸、AI抠图、AI制作PPT、AI音频、AI视频、AI物体消除
返回外链论坛:http://www.fok120.com/,查看更加多
责任编辑:网友投稿
|