天涯论坛

 找回密码
 立即注册
搜索
查看: 76|回复: 3

秒变 AI 绘画大师,comfyui抓紧学起来

[复制链接]

3074

主题

148

回帖

9911万

积分

论坛元老

Rank: 8Rank: 8

积分
99118898
发表于 2024-6-30 18:12:42 | 显示全部楼层 |阅读模式

1、SD主流 UI

Stable Diffusion(SD)由于其开源特性,有着较高的受欢迎程度,并且基于SD的开源社区及教程、插件等,都是所有工具里最多的。基于SD,有区别的操作界面,能够理解为一个工具区别客户端。WebUI和ComfyUI是两种较为流行的操作界面选项

WebUI :

优点:界面友好,插件丰富,新手小白基本能秒上手

缺点:吃显存,对配置需求较高,出图较慢

2. ComfyUI 优点:性能好,速度快,支持工作流的导入导出分享,对小显存友好(GPU少于3G以下依然能够工作),基于工作流,对出图规律理解更清晰

缺点:对新手用户不太友好,有必定学习成本

二者各有优缺点,按照自己状况选取就可

我为什么选取Comfyui?Comfyui的热度连续提升,在谷歌搜索上,有越来越多的人起始关注Comfyui。为何会有越来越多的人关注?由于大众运用webui久了之后,发掘很难对生成过程有完全的掌控一张照片的生产不是点击几下就能完成的,它有非常多到工序:主体、配景、背景、风格、文字、特效等等各样各样的细节问题必须掌控倘若所有采用webui,操作起来非常麻烦,所有必须反复手工(尤其是要守在电脑前一个个去操作),而采用Comfyui,搭建完工作流程后,只必须点击运行,就可全流程自动完成。

2、ComfyUI 能干啥?

1. 基本文生图2. 基本图生图3. 真人转动漫/动漫转真人4. 线稿上色5. 老旧照片修复6. 隐匿艺术字7. 改变名人姿态8. 四维彩超宝宝长相预测9. 红包封面10. 真人电子AI写真定制11. 赛博朋克风格转换12. 专属表情包13. 手机壁纸14. 更加多这儿不一一举例了,类似的玩法在网上能够看到非常多,ComfyUI只是一个工具详细怎样应用,就要依靠自己的想象力了

ComfyUI 安装方式

1.在b 站或后期圈gzh (附带工作流)下载整合包完成后而后解压。

运用的磁盘最好有20g以上的空间,由于再下载有些模型还是比较占用磁盘空间的。

“A绘世起步器.exe”文件即为一键起步文件,能够先不起步,先下载好模型。

下载模型,和webui共用模型 模型文件一般以.safetensors结尾。

首要将comfy ui根目录下的“extra_model_paths.yaml.example”文件重命名为“extra_model_paths.yaml”。

而后将base_path:后面改为你的webui目录:

点击“A绘世起步器.exe”。起步后软件会自动更新有些文件,通常不会很久。

而后点击右下角的“一键起步”,第1起步,可能比较慢,等一会就可起步完成会自动打开浏览器。倘若运用过程中遇到问题,能够查看左下角“掌控台”页面里的日志。

设置中文 第1次打开倘若是英文,能够设置一下语言。先点击小齿轮,进入设置页面:

而后滑到最下面,找到:AGLTranslation-langualge选项,改为中文就可

ComfyUI 工作流基本教程

No.1

文生图工作流

原理简介

1、首要prompt文本转换为词特征向量

2、词特征向量随机图向量一块encode降维输入潜空间,进行屡次降噪

输出图 = 输入图 -【(按照prompt预测的噪声+按照随机图预测的噪声-按照随机图预测的噪声)* 权重系数 +按照随机图预测的噪声】* 降噪次数

3、输出数据decode

在软件中,已然内置了许多工作流模版,下图对文生图做为基本工作流的各模块进行一个简单介绍。

下图中工作流对应文生图原理,按照Base Model生成词特征向量和随机图进行解码、屡次降噪、并编码生成照片

ComfyUI 文生图基本工作流

提示词撰写

写提示词必须重视,长度约60字,SD的提示词不像自然语言生图的工具直接组织为句子输入,输入形式为重要摆列,越重要的越靠前,或运用权重设置如(keyword:1.4)加强权重;(keyword:0.7)降低权重

Prompt内容通常包括

主体环境(地点,灯光,天气)作画形式(油画、水粉、素描、相机……)风格(年代、名人、艺术类型、国家……)

其他重视事项

构图意见运用图生图在prompt中运用别人训练好的embedding模型能够生成特定的视觉特征(某特定名人、某物种……) embedding:filename

尺寸设置

宽和高必要是8的倍数,Batch_size决定了一次生成多少张图像(可能影响速度,意见一次一张)

尺寸设置参数

采样器参数设置

(参数设置能够参考模型作者供给的最佳方法

Seed:随机种子数,这个数字掌控每次生成的照片类似程度,照片必须保持一致的时候,该数字不变

Control-after-generated:

生成完之后种子数的变化状况设置

Step:降噪步数

CFG:Prompt权重系数(通常6-8)

Sampler-name:采样器名叫作

Scheduler:调度器名叫作(降噪)

Denoise:初始噪声(文生图通常为1)

Lora配置

添加lora模块,更改clip、model连线,更换作者举荐的Vae模块等其他参数

添加模块

起步

此时设置完所有的模型和参数,根据教程的参数设置运行后依然会发掘出图很糊,据述M系列Mac容易遇到该问题,按照教程,在终端pip安装 torchvision==0.16.2,成功处理该问题。

打开终端进行pip安装,输入 torchvision==0.16.2

处理照片输出模糊的问题

No.2

图生图工作流

办法一:重绘 - 基于输入图进行重新绘制

输入图代替随机图,和文字一块做为潜空间的输入。

办法二:参考 - 基于输入图参考进行内容弥补(unCLIP)、风格迁移(Style)拓展

先对图文进行解码,而后和随机图一块输入潜空间

unCLIP model workflow

针对unCLIP重绘方式,能够直接运用模版搭好的工作流,其中增多了上图所示三个模块,并将初始CheckpointLoader、对应的unclip模型进行替换(模型:sd2.1-unclip, 对应随机图尺寸 768 * 768)

运用两张图进行元素融合,能够看到结果大致实现将鸭子和水波元素进行了混合,但与预期效果差距很强,但融合的元素难以掌控,若要加强符合预期的质量仍然必须进行更加多的参数调节

初始输入照片高度调节为768 跑unCLIP工作流

Style model workflow

风格迁移工作流中则必须将上传的照片编码为向量、理解风格、理解提示词,经过Style节点处理后导入采样器,通常为名画、名人雕塑类。

跑Style Model Workflow

此处运用了新海城画风的照片输入,整体而言,风格更加依赖模型,一样参数下,模型AnythingElse为二次元专用生成为了左边的效果,DreamShaper为写实风生成为了右边的效果,输出图风格更加多与模型风格、prompt内容更关联,与上传的风格迁移的参考照片关系不大。

AnythingElse(左),DreamShaper(右)

ComfyUI 工作流分享(照片水印)

6 月工作流更新

AI模特、AI换脸、AI抠图、AI制作PPT、AI音频、AI视频、AI物体消除

返回外链论坛:http://www.fok120.com/,查看更加多

责任编辑:网友投稿





上一篇:ai绘画图生图,这三款软件助你容易做为绘画大师!
下一篇:原创 严嵩:因德废字的天才书法家,奸臣的艺术成便是不是就该被抹杀?
回复

使用道具 举报

3047

主题

3万

回帖

9606万

积分

论坛元老

Rank: 8Rank: 8

积分
96065852
发表于 2024-10-4 22:20:39 | 显示全部楼层
你的话语真是温暖如春,让我心生感激。
回复

使用道具 举报

3138

主题

3万

回帖

9996万

积分

论坛元老

Rank: 8Rank: 8

积分
99968624
发表于 2024-10-6 18:59:13 | 显示全部楼层
太棒了、厉害、为你打call、点赞、非常精彩等。
回复

使用道具 举报

3048

主题

2万

回帖

9910万

积分

论坛元老

Rank: 8Rank: 8

积分
99109040
发表于 2024-11-2 06:55:22 | 显示全部楼层
我深受你的启发,你的话语是我前进的动力。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

站点统计|Archiver|手机版|小黑屋|天涯论坛 ( 非经营性网站 )|网站地图

GMT+8, 2024-11-23 02:47 , Processed in 0.156662 second(s), 21 queries .

Powered by Discuz! X3.4

Copyright © 2001-2023, Tencent Cloud.