level 13
真·晕晕无双
楼主
隔壁nai吧近期基本废了,感觉互联网上这种基础行业知识介绍的还挺少的,我来写一篇吧。
1、stable diffusion
这个是stablity ai公司制作的模型,也是世界上第一个真正意义上完全开源的基于扩散模型的绘图AI。
而novelai就是基于stable diffusion1.5进行微调后的商业发行版本,nai的出现也是互联网上彻底引爆ai绘图话题的导火索,虽然现在几乎没什么关注nai了。
stable diffusion的原始模型是这次介绍的这三个ai中性能最差的,其最后一次版本更新是在去年十二月。
但性能差也有优势,那就是其很适合在个人家用电脑上运行,在dreambooth等微调工具发布后更是直接把模型训练下放到了个人电脑级别。
由此,stable diffusion成为了目前世界上最亲民的ai绘图模型,现在互联网上大部分的ai生成图片均是由此模型及其微调版本生成。
第三方插件无数,开源社区每天都在开发各种新奇的功能。
只要你愿意研究,使用这个性能最差的模型也依然可以生成非常好的内容。
下图由基于stable diffusion1.5微调而来的Counterfeit-V3.0生成



2、midjourney
由自主创业小团队开发的基于扩散模型的绘图AI,也是目前商业上最成功的图像生成AI。
其开发训练是闭源的,并且在快速推出新版本提供新功能,是目前世界上性能最好的图像生成AI。
目前midjourney最令人惊叹的是其可以使用不同的提示词生成不同风格的高质量图片,这意味其参数量十分庞大,对运行设备的性能要求极高。
目前midjourney凭借着易用,好用,且为用户提供生成图片的商用许可等特性,在商业化道路上走的十分成功。
其稳定高质量的图片甚至可以达到了商用的标准,国内外许多设计师已经开始使用midjourney辅助设计了。
3、nijijourney
nijijourney是midjourney团队推出的专门针对二次元的绘图AI,可以认为是在二次元图片训练素材中进行了针对性微调的midjourney。
其绘图性能和midjourney保持一致,近期在更新v5版本后在互联网上也越来越火了,我们现在看到的许多图片也是由niji生成的。
下图由nijijourney生成



最后扩展再额外介绍一个
DeepFloyd IF
由stability ai公司旗下DeepFloyd实验室开发训练,现已学术开源。
其技术特点是把text encoder从时下流行的clip换成了T5-XXL,使其拥有了gpt3级别的语义理解能力,可以用近似于聊天的方式去描述出你想要绘制的图片,并且能让这个AI准确理解你的意图。
同时此次开源的IF-4.3B模型中的unet部分也在实验室评估中也是目前所有同类型模型中表现最好的。
其绘制能力目前来看可以说十分惊人,除了可以准确的绘制出英文句子以外,还可以实现许多奇思妙想。
可以去huggingface上在线体验一下这个模型的生成性能,官方也提供一些提示词示例。
并且这个模型依然可以在个人电脑中运行,只是需要最少14gb的显存。
目前已经可以在github上获取到他们的代码。
2023年05月15日 10点05分
1
1、stable diffusion
这个是stablity ai公司制作的模型,也是世界上第一个真正意义上完全开源的基于扩散模型的绘图AI。
而novelai就是基于stable diffusion1.5进行微调后的商业发行版本,nai的出现也是互联网上彻底引爆ai绘图话题的导火索,虽然现在几乎没什么关注nai了。
stable diffusion的原始模型是这次介绍的这三个ai中性能最差的,其最后一次版本更新是在去年十二月。
但性能差也有优势,那就是其很适合在个人家用电脑上运行,在dreambooth等微调工具发布后更是直接把模型训练下放到了个人电脑级别。
由此,stable diffusion成为了目前世界上最亲民的ai绘图模型,现在互联网上大部分的ai生成图片均是由此模型及其微调版本生成。
第三方插件无数,开源社区每天都在开发各种新奇的功能。
只要你愿意研究,使用这个性能最差的模型也依然可以生成非常好的内容。
下图由基于stable diffusion1.5微调而来的Counterfeit-V3.0生成



2、midjourney由自主创业小团队开发的基于扩散模型的绘图AI,也是目前商业上最成功的图像生成AI。
其开发训练是闭源的,并且在快速推出新版本提供新功能,是目前世界上性能最好的图像生成AI。
目前midjourney最令人惊叹的是其可以使用不同的提示词生成不同风格的高质量图片,这意味其参数量十分庞大,对运行设备的性能要求极高。
目前midjourney凭借着易用,好用,且为用户提供生成图片的商用许可等特性,在商业化道路上走的十分成功。
其稳定高质量的图片甚至可以达到了商用的标准,国内外许多设计师已经开始使用midjourney辅助设计了。
3、nijijourney
nijijourney是midjourney团队推出的专门针对二次元的绘图AI,可以认为是在二次元图片训练素材中进行了针对性微调的midjourney。
其绘图性能和midjourney保持一致,近期在更新v5版本后在互联网上也越来越火了,我们现在看到的许多图片也是由niji生成的。
下图由nijijourney生成



最后扩展再额外介绍一个DeepFloyd IF
由stability ai公司旗下DeepFloyd实验室开发训练,现已学术开源。
其技术特点是把text encoder从时下流行的clip换成了T5-XXL,使其拥有了gpt3级别的语义理解能力,可以用近似于聊天的方式去描述出你想要绘制的图片,并且能让这个AI准确理解你的意图。
同时此次开源的IF-4.3B模型中的unet部分也在实验室评估中也是目前所有同类型模型中表现最好的。
其绘制能力目前来看可以说十分惊人,除了可以准确的绘制出英文句子以外,还可以实现许多奇思妙想。
可以去huggingface上在线体验一下这个模型的生成性能,官方也提供一些提示词示例。
并且这个模型依然可以在个人电脑中运行,只是需要最少14gb的显存。
目前已经可以在github上获取到他们的代码。


