清华美院硬核输出：AI绘画可控性研究与应用

来源：AIGC研修社

作者：逗砂

原标题：《AI绘画可控性研究与应用》

这是昨天在清华美院课程的文字稿和PPT，主要分享的是AI绘画可控性的研究和应用。梳理了一下AI绘画可控性的一些整体知识脉络，和最新发布的controlnet 1.1。

目前的AI绘画大部分都是基于diffusion这个模型的，我们可以注意到无论是现在最流行的开源的 stable diffusion 还是最开始的disco diffusion，他们都是基于扩散算法的，这个算法的优势在于它的随机性，随机性可以给我们带来很多意想不到的结果，扩散模型生成的每一张图都不一样。这个特性最大的好处就是可以带来无穷无尽的想象力，很多时候这些想象力甚至会超越人类自己。

但是这些随机性带来的想象力有一个很大的问题，就是它不可控。大家都戏称这种创作叫抽卡式创作，你也不知道最终的生成效果是什么样的。有时候运气好出来一张非常惊艳的图，但是不可复现，感觉跟你也没啥关系。

这就是去年开始早期AI绘画的状况，它虽然可以生成很多漂亮的图片了，但是它本质上还是一个玩具，因为所有的设计领域都需要对结果可控，对于设计师来说，不能修改，不能控制画面中的内容，无法精准的满足甲方爸爸的要求，这种工具也只能在早期头脑风暴的阶段使用。

但是后面出现的微调模型和controlnet，把这个状态打破了。所以我说controlnet的出现补完了AI绘画工业化生产的最后一块拼图。AI绘画这个工具正式的进入设计师的工作流了。

我们现在回到AI绘画的可控性有哪些这个问题上。广义上来讲，AI绘画的生成结果可以通过下面几种方式控制。

第一个就是提示词，文生图的意思就是通过文字去控制画面。其实从去年到现在市面上有大量的教程教你如何去写提示词，我们把特别擅长写提示词的人称为提示词工程师。但是作为一个最广泛的控制手段，提示词有它的局限性，这个一会讲。

除了文字提示之外，我们还可以使用图片作为提示，也就是垫图。图片提示可以更加精准的控制画面的构图和元素。

我们还可以使用AI绘画进行图片编辑，涂抹掉不想要的部分然后重新生成，这个技术最早出现在dalle2上，后面迅速的被应用到了SD上。

在最近刚更新的controlnet1.1版本里其实把图像提示和图像编辑都整合进去了。我们今天会重点讲解controlnet1.1的功能。

最后还有一种控制方式也非常重要，叫微调模型，目前市面上最流行的微调模型叫lora。微调模型是通过收敛好的模型来更加精准的控制输出的风格和元素。

我们刚刚提到了提示词控制画面有它的局限性，这个局限性主要体现在哪些方面呢？

下面这几张图是同一提示词在midjourney不同模型算法的下的生成结果。我这里只使用了一个单词女孩。我们可以看到在初代版本的人物生成结果是非常差的，这个跟早期disco diffusion 的效果类似。我记得去年4五月份还有很多人去花了大量时间研究怎么写提示词和调整参数让DD来画出一个像样点的人物图。

可是随着MJ算法的迭代和SD的出现，这些对提示词的研究瞬间就失去了意义。我们可以看到从MJ的第三代算法开始，人物生成已经越来越好了，三代算法对于一些手部的细节还有瑕疵。所以那个时候很多人嘲笑AI不会画手，但是最新版本的MJ算法已经解决了这个问题。

这个过程大家可以看到，提示词的生成效果极度的依赖与模型算法。所以我不建议花太多时间去研究提示词，提示词掌握到78分就差不多了，因为今天研究的东西，废了很多时间总结出来的规律可能新的技术一出来就完全失效了。

提示词的生成效果极度依赖模型，模型对生成结果的影响力远大于提示词，这个特性我们可以发现，通过微调模型去控制AI绘画的生成结果是一条比写提示词更有效的方式。

那么有哪些微调模型的自训练方式呢？

目前市面上主要有四种基于SD的微调模型方法。这四种方法里目前最流行的是一款叫lora的方法。

接下来我挨个介绍一下这四种方法的不同之处和应用范围。

首先是这个embedding的微调模型，它是通过使用文本提示来训练模型的方法。它的原理其实是通过在大模型的隐空间，找到对应特征的图像文字映射，然后通过打包重新定义这个映射来达到稳定输出特定图像的效果。