Stable Diffusion 是一款基于人工智能技术开发的绘画软件,它可以帮助艺术家和设计师快速创建高品质的数字艺术作品。
一、什么是Stable Diffusion?
Stable Diffusion是AI绘画工具于2022年推出,是一种通过模拟扩散过程,将噪声图像转化为目标图像的文生图模型,具有较强的稳定性和可控性,可以将文本信息自动转换成高质量、高分辨率且视觉效果良好、多样化的图像,除了能生成视频外,还可以使用该模型创建影片和动画,该模型基於扩散技术并使用潜在空间。这显著降低了处理要求,让您可以在配备 GPU 的电脑或笔记型电脑上执行该模型。通不断学习,只需五张影像即可 Stable Diffusion 进行微调,就能满足特定需求。
二、Stable Diffusion官网与网页版
Stable Diffusion官网地址:https://stability.ai/
Stable Diffusion网页版体验地址:https://huggingface.co/spaces/stabilityai/stable-diffusion
二、Stable Diffusion 功能介绍
Stable Diffusion 的使用非常广泛,可以应用于文字生成视频,图片插图,视频编辑跟视频创作。
- 文字生成视频
这是最常用的方法,Stable Diffusion会根据文字提示词生成视频,可能通过调整随机生成或变不同的效果去生成不同的视频。 - 生成图片,插图和标志
使用提示词,可以建立各种不同风格的插图,图片和标志,当然也可以使用草图通过指令生成标志等。 - 视频编辑
可以使用 Stable Diffusion 编辑和修改照片,使用 AI Editor 导入视频并使用橡皮檫画笔等功能遮住要编辑的区域,通过提示词来实现您想要的效果,例如修复旧照,移除图中物件,在图片中增加新元素等。 - 视频创作
使用 GitHub 中的 Deforum 等功能,可以借助 Stable Diffusion 创作短视频片段和动画。
三、Stable Diffusio 图像生成的工作原理
Stable diffusion是一中潜在扩散模型(latent diffusion model),这里面除了模型这两个字,潜在和扩散听上去可能不太容易理解,这里我们先弄明白什么是扩散模型,它是在训练图像上逐渐添加噪声,最后变成完全随机噪声图。这个过程就像是一滴墨水滴在一杯清水里,会慢慢扩散最终均匀分布在清水里一样,扩散这个名字就是那么来的。
1、训练过程
Stable Diffusion的训练过程其实就是在一张图片上逐渐添加噪点,最后完全变成一张类似完全黑白的噪点图像,AI将会记录每一步的噪点特征。
2、生成过程
AI通过训练时的噪点学习记录,去根据噪点逐渐生成你想要的图像进行还原。