简单介绍一下stable diffusion

发表于 更新于 阅读次数：
stable diffusion这么火，不了解一下？

Stable Diffusion是一个在2022年由LMU、IWR, Heidelberg University、Runway联合提出的文本生成图片的机器学习模型。具体实现由CompVis小组开源，Stability AI提供商业支持。Version 2由Stability AI开源。

线上体验

Stability AI提供了在线体验：dreamstudio。

生成图片需要消耗积分，新账号有大概100积分，可以稍微玩一会。

NovelAI.Dev也提供了魔法小镇可以在线体验，需要翻墙获取注册码。

本机自建

如果自己的显卡还行的话，可以尝试在本地运行。NovelAI.Dev提供了一份安装指南。

预训练

不需要完全从头训练，CompVis有将自己训练后的参数以检查点（checkpoint）的形式共享出来，放在了Hugging Face。Stability AI也同样放出了v2的参数。

ui

虽然sd(stable diffusion)官方有指导文档，但对新手还是不够友好，可以使用带ui的stable-diffusion-webui。

使用stable-diffusion-webui，按照教程一步步来，把程序当作黑箱，也可以很轻易的运行起来。
全默认设置渲染一张在GTX 1080上需要耗时10秒出头。

提示语

怎么写提示语还是有点讲究的。

Openart上有大量网友上传的文本生成图像作品可以参考。
而且有整理出一本PromptBook，值得一阅。

stable diffusion art也有一篇提示语指南。

附录

stable-diffusion-webui教程

  1. 安装python 3.10.6

注意，一定要3.10.6。可以用anaconda：

1
2
conda create -n py310 python=3.10.6
conda activate py310
  1. 使用git下载代码
1
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
  1. 下载ckpt放在models/Stable-diffusion

从Hugging Face下载ckpt。

这里提供一个sd-v1-4的磁力链接。

  1. 运行webui-user.bat

这一步要很久，需要下载安装很多依赖。耐心多等一会。

  1. [可选]安装xformers以加速图片生成
1
pip install -U xformers

在启动webui时，需要添加--xformers才能会检查xformers，否则还是会提示：

1
2
3
4
5
6
7
Checking Dreambooth requirements...
[+] bitsandbytes version 0.35.0 installed.
[+] diffusers version 0.10.2 installed.
[+] transformers version 4.25.1 installed.
[ ] xformers version N/A installed.
[+] torch version 1.13.1+cu117 installed.
[+] torchvision version 0.14.1+cu117 installed.

可以修改webui-user.bat：

1
set COMMANDLINE_ARGS=--xformers

再次启动就正常了：

1
2
3
4
5
6
7
Checking Dreambooth requirements...
[+] bitsandbytes version 0.35.0 installed.
[+] diffusers version 0.10.2 installed.
[+] transformers version 4.25.1 installed.
[+] xformers version 0.0.16rc425 installed.
[+] torch version 1.13.1+cu117 installed.
[+] torchvision version 0.14.1+cu117 installed.