全网独家精汇，stable diffuion出图玩法及落地应用大全

如今的我基本构建起了对 SD 较为全面功能的认识及应用玩法全流程的整体框架，特别来跟大家分享关于 SD 目前较为进阶的玩法及案例应用等的相关思路和个人对于SD的相关经验总结，希望同大家一起共同交流进步。
阅前先读：
1.下列图片均为自己生成！其中包括对玩法思路的研究，多个参数值反复对比取优等
因为每张图各方面的调整都要耗费大量的时间，并且个人精力有限
因此可能会有图片细微的瑕疵，表达语义不当，但不影响整体概述，希望大家都能理解。
2.本篇主要提供SD出图相关的效果应用思路，针对技术性操作方法，因整个流程涉及的详细操作性内容太多，本人便只针对个别案例讲述重 点，具体学习可以去 b 站参考针对性学习。
每种技术玩法结合其他不同的技术，不同行业，不同对象内容，不同的图片表现形式都可衍生出太多太多近乎无限的同类玩法
因此以下都以较主流的案例来举例，玩法及应用思路大同小异，都包含于其中。
3.看不懂玩法解析是因为对stable diffusion了解太少，那便只用看最终成果图对比原材料图功能的实现和运用的思路即可。
4.以下图片素材部分取自网图，如有侵权请告知，即删！
干货满满 收藏再看~一.SD功能类
1.内容绘制创作
①精确绘制梦中场景
理想中的画面：一个神圣的白色天使，在洁白光辉的照耀下，降临四处破裂充满岩浆的地狱
收集的原材料网图：



成果图展示：


controlnet为stable diffusion最重要的一款功能性插件，能控制画面的多方面特点（人物姿势，图像外形，色彩颜色，整体风格等）以下对其均简称CN。
玩法拆解
①PS图片叠加法（同上）
②其他方法：1.手绘涂鸦（上内容）
2.CN——语义分割 seg 模型：针对建筑行业更有效，在此不举例
②异种生物生成
方法1.材料：1：（利用现实图像）


成图展示：



玩法： PS 抠图把不同部分图片叠放并代入图生图中+利用 SD 对信息内容的融合功能生成全新物种
（不建议代入 CN 模型，会对生成的内容有所限制==加大不认识的对象的生成难度）
要点：描述词中不要写有翅膀的猪，SD 难以理解，要把具体的特点描绘出来（例如：两旁的翅膀，背后的翅膀）
方法2.材料图 2：（利用手绘图像）


方法3.纯描述词描绘（右边猫狗）



玩法拆解：利用描述词融合规则
A dog:0.8 AND a cat:0.8 可以对不同生物且进行加权的融合
（原理是两种对象信息的叠加作用）
可自由添加融合生物种数和占比
对比其他描述词融合图片内容规则，此方法功能性全面且效果最佳。
2.画面风格转换
（婚纱照案例处）3.图片内容扩展
（头像取自自训练iu模型太空图集）


方法 1：
①图生图拉高长宽+缩放模式选填充生成==形成延伸图（左图 1）
②再局部重绘延伸的部分+调高重绘幅度+重绘区域选原图+勾选 con-tile 模型（有对人物的识别作用）
特点：延伸出来的图片有原图相匹配的内容，因此效果最好
方法 2：
①上传蒙版法（生成黑色目标区域）
途径1.图生图中：图生图中点右上角铅笔工具并拉动鼠标滚轮==可对图片进行缩放
缩放好后点鼠标上移点双击==图片会自动确定位置
再把缩放好的图代入到局部重绘中
途径2.利用PS
②识别人物
图片代入con-tile模型对人的识别
图片代入con-openpose 姿势来确定人物姿势
（流程展示）




方法3：
利用脚本插件outpainting向外绘制


优点：操作简单 效果好
缺点：只针对SD产出的图效果好，需要用到相同的模型，不同模型/真实图用SD去扩展图片真实性略差
4.模糊照片修复类






二.摄影类
1.模特换装（内容放最后）2.婚纱照
原网图：

①画面风格转换






②局部修改类
背景替换：（海滩与月球作背景）



玩法拆解：
①PS 抠图扣除背景→图生图上传蒙版针对背景进行生成
②最后再把生成的图再整体生成一次
此过程注意要求原图改变小：反推原图提示词+拉低重绘制幅度+图片代入CN线稿和姿势模型保持图像内容特点
tips：降低蒙版边缘模糊度，提高蒙版边缘像素参数==有效调高抠图边缘的融合度
3.人物时光穿梭
材料网图：



成果图：

玩法拆解：
PS 抠图并代入到图生图上传蒙版中+并利用 CN 模型保留姿势和外形特点===先生成跨时代的人物
再把生成的整张图重新放到图生图中重新生成一次===优化人物与景物边缘的融合（方法同上）
注意：整个过程降低重绘幅度保持原图信息
三.产品设计
1.人物设计
①同人物多视图



②同人物盲盒——多种服装，多种动作
1.制服





2.日式





3.综合场景










2.材质替换
材料图：
（原图为MJ提供素材）



成果图：（青铜包，玻璃包，白石包，绿石包）




四.影视类
1.人物还原
原截图：

成果图：

五.画作类
画作风格模仿（第一幅为原网图画）：




要点：原图清晰，颜色特点要鲜明，无其他杂质内容
2.手绘图类
①.涂鸦转绘画


②.绘画转线稿/草图
（以下为转化后不同线稿类型）




③.线稿上色/还原





3.复原超长图
《清明上河图》


《最后的晚餐》


4.古诗意境生成
1.大漠孤烟直，长河落日圆
出自： 唐代王维的《使至塞上》
解释：浩瀚沙漠中孤烟直上云霄，黄河边上落日浑圆。

2.飞流直下三千尺，疑是银河落九天。
出自：唐代李白的《望庐山瀑布》
解释：高崖上飞腾直落的瀑布好像有几千尺，让人怀疑是银河从天上泻落到人间。

3.接天莲叶无穷碧，映日荷花别样红。
出自：宋代杨万里的《晓出净慈寺送林子方》
解释：密密层层的荷叶铺展开去，一片无边无际的青翠碧绿，像与天相接，阳光下的荷花分外鲜艳娇红。

5.画作增饰
1.山水水墨画
出自：艺术家 王连笙
（猜猜哪副是原画）





2.抽象画理解
1.涂绘类

成果图：


2.数字图形
材料图：

成果图：

六.模型训练
1.人物IP类
(以下为自己训练生成的 iu 模型)
白色婚纱篇：






太空篇





赛博朋克篇




玩法拆解：人物 lora 模型的训练
注意要点：原图的质量是第一关也是最重要的一关，要求高分辨率，无杂质内容（水印，背景内容，人物面部清晰无遮挡等）
难点：对人物的头像，半身，全身分门别类的进行不同参数的训练以获得人物局部体现的不同效果
不同的训练对象有不同的训练思路和参数，如下提供真人训练参数参考：（注意极大不同于二次元人物，真实场景细节翻倍！！)
个人参数推荐：总步数推荐 1W 步往上，图片数量 50+，repeat 单图训练次数 7 往下（太多会重复训练），epoch 整圈循环次数 10，batch size2，DIM128 ， network alpha64（144M 的 lora 实现更高质量）其他正常即可
总结：基于人物真实模型庞大的数据，其训练整体参数均要偏大
2.延伸玩法：明星同框
（具体是哪个明星大家可以猜猜，看看 ai 的实力究竟如何）



玩法拆解：确定人物位置：latent couple+composeable 插件的结合运用
保持人物姿势：代入 CN——openpose 模型
代入人物模型：插件中加入人物 lora 描述词
难点：可能会有 lora 间相互污染影响的情况
解决方案：降低影响大的 lora 的权重
方式：把污染重的 lora 的提示词往后放，减低其 lora 权重，减少其latent绘制范围，降低其 latent 位置权重，与其相反提高想要增加的lora权重
3.商业落地应用
（图源同圈专业玩家）








五.SD玩法技巧重点总结
1.多内容混合思路
对应SD具体思路：
影响内容的来源有：描述词，种子，图片（操作方法：PS图片叠加，或多个图片垫图 原理：AI工具对图片内容进行识别和融合再处理功能），代入CN中的特点图，从这几方面可以将不同的信息进行融合。
2.对图片对象内容特点进行精确的控制（如人物的外形，颜色，风格，位置构图等），保持一个或多个部分不变，其余内容变化
具体的主流应用主要有：风格转化（保持画面风格不变，变化对象，变化构图等） ，局部修改(背景修改，头像替换），模仿他人作品(保持他人作品的画风/构图/人物姿势不变，效果：改变其他任何一个部分就是一个衍生出来全新的作品）
对应SD具体操作总结：
想要保持原图片信息内容不变
1.要把原图反推提示词并对其修改使其更符合对原图内容的描述
2.明确图片内容中要变化的部分，并利用CN保持特点不变
3.迭代思维
stable diffuion只是一种绘制内容的工具，并不是万能的
往往第一遍出的图效果并不能直达预期但≠这张图没用/方法不行
别总想着任何想实现的图像一次性就能达到
把生成的图再放入图生图中迭代几次，谁试谁知道~
4.出图流程化思路
①明确目标效果
②最终效果图多方面部分拆解，确定效果图的内容来源（文字，图片），及各部分特点，最终推断出出图的全思路流程和具体相关参数设置
③初次试跑 确定大概效果
④成果图初次分析 拆解各部分问题并针对性提出解决方案 对内容进行增/删/改
⑤再次调优 不断反复获得最终效果图
⑥后期处理（可结合其他工具） 最终成图
六.结合工具
1.PS
（上面已有）
2.chatgpt
提示词模板：

生成效果展示：




玩法思路：给 chatgpt 建立描述词的规则，首先要确定自己需要用到哪些词语规则
①让 chatgpt 理解描述词/关键词的含义
②确定描述词主题的顺序
③确定各主题描述词的具体内容
④以举例的方式让 chatgpt 理解
注意点：
1.要求描述词按各主题以顺序产出===更能清晰的理解不同部分描述词的来源和应用
2.以中文的形式表达，让 chatgpt 也以中文产出，更方便进行修改再转英文生成最后的词语
3.不放入对描述词的权重规则因为它没办法想我们心中所想，对我们脑海中具体图像的细微调整需要人工手动，不然很大概率 chatgpt 会随机加权从而更影响出图效果
3.结合midjourney
玩法思路：
①利用MJ强大的图片效果提供素材（颜色，光影，风格渲染）
②运用SD控制图片内容主要特点修改出图（整体构图，对象外形，内容层次结构，图片区域色彩及亮度，基本图片风格）
③回代MJ进行二次渲染（难点：高度保持原内容不变 （待实践））
4.结合云端部署

作用：一人控制多台高配电脑同时跑图
单人拉满顶配：2台高配电脑同时跑图，2台高配电脑同时训练====一个人干了4个人的活~~
玩法拆解：
云端平台的种类：
①云桌面
优点：几乎解决了所有的问题：可结合其他软件=功能性全面，操作简单，出现报错可处理，启动快，可全天运行。
缺点：略贵
②linux编程类平台
不推荐
原因：操作难度大，界面功能性单一，数据传输太麻烦
除非是尝鲜，轻度用者或是训练模型用，去用哪个平台都可以
具体平台涉及其他不在此推荐~~
最关键的几点：
①储存容量（用来存储模型）
②数据传输的难易程度
③平台的费用（土豪随意）
玩法难点：
①将本地的webui数据转移部署到云端，例如模型和设置信息的保存，插件链接的重新安装
②云端和本地实现文件传输的信息互通等需要注意的各种事项
七.出图进阶玩法整理汇总
图片展示：

因个人精力和所涉及的能力范围以及篇幅有限，以上所述案例也只是整个SD功能玩法和实践应用中的冰山一角，内容也只能做大概重点描述，详细操作流程没办法在短短一篇文章中全部复现
以上也只是个人的一些经验和方法，个人也并不是设计行业的从业者，在AI绘画的道路上不断摸索中
因此内容也可能会有疏漏和错误，欢迎大家指正~
具体内容可以自行搜索资源对不同行业方向做针对性的学习或大家共同探讨~~
其他方向还有模型训练和ai绘画转视频，因每个方向内容量均过大，此处不再讨论。
八.个人SD学习经验
1.个人学习成果
部分展示（图片分别是MJ玩法，SD controlnet玩法，变现路径，变现图片具体形式）





20+思维导图，超10w字ai学习内容总结，以及各种大量ai绘画相关的工具，网站等等。
2.SD学习流程个人建议
①配置
最重要的两个方向：
1.显卡规格：12g往上
注意：越低的显存GPU影响的不仅仅是出图速度，还会产生低配使用SD的各种问题
（例如无缘无故的报错，出图的质量，SD插件功能能否使用等）
2.硬盘容量
入手玩——50g+
简单玩——100g+
深入玩——300g+
②学习篇
1.课程：一套全跟着b站up主 @靠谱的轩轩 进行系统化的ai绘画学习
链接： https://space.bilibili.com/1642297?spm_id_from=333.337.0.0
对比其他教程up：系统化 简单化 重点化
2.学习思路：
①先整体过一遍全部功能，边学边实践，学完就实践，对所有功能有大致的理解——目标效果：能跑通即可
②再深入钻研自己所需要的出图类型，研究其玩法和参数的调制以至达到最终针对想要的图片样式的效果最优化。
3.避坑：
整个学习SD流程中最大最大的坑莫过于：不是计算机行业的人就不要总纠结程序的报错！
很多情况一个问题的报错可能好几天都没办法解决，报错的原因多种多样，甚至不一定就是电脑某部分出现问题，程序本身有bug或对电脑兼容性不够导致的，这时候一味去解决是根本无法解决的，甚至不符合我们学习和出目标效果图的目的。
所以对于报错所采取的措施是：
1.询问chatgpt代码报错解决方案，短时间依旧无法解决就跳过，过一段时间或实在要用的时候再回来看。
2.若是某个教程功能无法报错，可以从教程网页评论区找寻，ctrl+f实现对页面问题内容的搜索
3.多开一台电脑，报错是个玄学问题，不同电脑会有不同的问题，多电脑融合一起用极大避免一个电脑因报错而导致卡住学习或项目进度。
3.寻求其他同行业者帮助
5.跳过
③SD认知篇
1.SD是什么？
本质：它只是一个工具，众多AI绘图软件中的其中一种
作用：一个根据已有内容（具象的和抽象的，例如脑海中的想法和现实已有的文字/图片）内容生成图片内容的工具
特点：它很强大但并不是全能的。可以惊叹它制作出让人不禁赞叹的作品，但没必要神乎其神，它也有很多的局限性
2.其他工具对比
MJ
优点：①高质量 ②没报错 速度快 ③上手简单 ④ 对图片有强大的识别能力！
总结 更简单 效果还更好
缺点：①功能方面——没办法精确控制图片内容 内容风格有限===上限低
②应用方面——简单==门槛低==作品市场泛滥===竞争力高
3.SD及AI发展趋势：(个人观点)
①类比同为工具本质的Adobe全家桶

清楚思考SD及同类AI绘图软件的本质后，对标同为工具类别的PS软件
PS是处理图片信息的软件———类比对标———SD负责生成图片内容信息的软件
向外扩展PR为动画———类比对标———相对应的AI软件
以及各种针对各种应用场景，商业目的实现的针对性专业化软件——类比对标——相关AI产品
②因此自我推测：
1.未来的AI行业因此也是功能多元化和针对某个产品专精化，针对使用目的，场景，人群不同进行分类化，同类目产品均会有不同的软件进行竞争（对标目前视频编辑电脑端的剪映，PR和手机端的各种APP）
实现时间：想要专业AI软件更易于常人使用并且稳定下来还为时太早
原因：ai技术发展太快，迭代更新的速度下每种技术不断更新，新旧更替，技术发展极其不稳定，并且每种技术对应的玩法层出不穷，想要将其所有的内容弄透使其核心操作思路简易化还太难，和对像PS一样大致功能已经成型固定还太早。
2.商业化实际应用思路
均可类比过去整个PS,PR工具从产出，优化再到稳定整个过程中具体的商业化运用案例。（课程，资源，社群，工具，技术提供等…）
九.个人总结过去总结
在面对AI行业的巨大浪潮下，时常力不从心，感叹一个人的力量太过渺小。
飞速更新迭代的技术端，不断变化拓展的商业化通路，AI行业呈现各方向的高速发展姿态，盛如百花齐放。
我深入学习打通SD的商业技术化应用玩法的同时，换来的是商业环路的短缺,是信息的匮乏，是作品自媒体的低效传播…….
因此才懂得更新迭代下鱼和熊掌不可兼得，有舍即有得，偏向一边的同时必然会导致另一边的缺乏。至此认识到团队的重要性。
未来展望：
个人优势：个人拥有对于AI绘画功能的整体框架，stable diffusion玩法功能间的相互联系及针对某个方向运用的可行性和成效推测，针对已有案例进行效果拆解复刻。
不足之处：涉及各个行业专业性的知识，使得无法将SD功能效果更好更全面的广泛应用。
①不同方向的结合：
不同行业：技术端：各种设计类（插画，图像，包装，…），美术类
应用端：电商，摄影，影视，建筑
不同工具：通过深入结合其他软件ps，pr实现编辑与生成的高级玩法互通，同类绘画软件adobe firefly互补，专业流程化软件blender实现更精细化控制
案例：SD结合美术渲染行业：https://m.weibo.cn/status/4901043890559735
案例思路拆解：美术对画面的局部精细渲染+SD内容精细化
不同途径：公域，私域的信息传播
目标：将stable diffusion其功能的强大性扩展到其他可行的各方面，联合其他不同的功能实现互补互增，强强联合最终实现1+1＞2的效果，突破SD图片绘画本身，让绘画惊叹于绘画，让绘画也不止于绘画。
②对SD玩法及具体应用思路的传播
希望能将自己微小的力量以小放大，以点带线，以线带面，将价值传播，能够让更多的人认识到AI绘画真正强大之处
不仅仅只是从单一描述词到一键生成图片的两点一线，而是根据自己的需求和想法加以结合，实现多点汇集，让更多的创意因ai绘画而发光！
③其他方向
若大家对我的内容感兴趣，并且有不错的想法，非常欢迎和我共同交流讨论和资源链接~~
我是小江，抱着积极向上，不断学习的心态同大家一起交流，希望能跟大家一起共同进步并在AI一波又一波的浪潮中持续完善自己各方面的不足。
最后，希望我对SD这款工具的个人经验总结或多或少能帮助到大家，提供SD不一样的玩法及思路的创新和有关SD各方各面不一样的认知
并热情欢迎大家与我共同交流探讨和相关资源对接!~
AI绘画是即将破壳而出的光辉，长路漫漫，继续加油！