第三期,如何撰写一个优秀的提示词(prompt)
novelai吧
全部回复
仅看楼主
level 7
AI绘语 楼主
先开个帖子,之后慢慢写
这个吧已经尽是猫鼠,AI绘画的贴已经少之又少
话说有没有其他有关ai绘画的吧推荐一下?
2023年05月18日 04点05分 1
level 7
AI绘语 楼主
一、引言
在之前的两篇文章中,我已经向大家介绍了如何安装A1111以及其基本参数的知识。然而,我尚未开始解释如何撰写一个优秀的提示(prompt)。因此,在本文中,我将详细介绍如何撰写一个出色的提示。
首先,需要明确的是,称一种方式为好,并不意味着你只能使用这种方式,就像我们都知道一些书籍是好书,但并不意味着每个人只能阅读这些书一样。通过学习其中一种好的方式,可以建立起一些概念,帮助你更快入门AI绘画。因此,这篇文章我将分享一种我总结的prompt书写方式,来帮助你撰写一个更好的prompt。
在正式开始之前,我们需要了解一些有关SD的基本知识。我们都知道SD是一个文生图AI模型。由于SD经过大量的数据训练,它能够学习到图像和文本之间的关联模式。这使得模型能够将输入的文本描述转换为相应的图像。通过训练,SD学会了预测并生成与文本描述相匹配的图像。
SD的训练数据是通过从网络上抓取的数百万张带有标签(tag)的图片构成的。这些标签可以是与图片内容相关的关键词或描述,它们提供了有关图片主题、特征和属性的信息。通过将这些标签与对应的图片进行配对,SD模型能够通过学习文本和图片之间的关联来预测我们输入的prompt所表示的图片内容。
在训练过程中,SD模型会分析大量的图片和对应的标签(tag)数据,从中捕捉到文本描述与图片内容之间的统计规律和模式。通过不断迭代和优化,模型逐渐提升了对于文本描述与图片内容关联的理解能力。
当使用SD模型时,用户输入一段文本描述,模型会基于其在训练数据中学到的知识和模式来生成一张与描述相匹配的图片。这使得用户能够通过简单的文本输入探索和创造出各种各样的图像内容。
不过,需要注意的是,SD模型的生成过程是基于训练数据的统计规律和模式,它并不具备真实世界的理解和判断能力。它的输出结果可能会受到训练数据的偏差、模型的局限性以及输入文本描述的准确性等因素的影响。
因此,我们输入的prompt实际上并不是直接告诉模型我们具体想要生成的图片内容,而是用来缩小图片内容的生成范围,引导模型往期望的方向靠拢(专业表达是“收敛”)。这是理解上很重要的一点,自己好好琢磨琢磨。
2023年05月18日 05点05分 2
level 2
快更快更,话说找到其他吧记得留个门
2023年05月18日 06点05分 3
好哦
2023年05月18日 07点05分
level 7
AI绘语 楼主
二、一些牢骚话
你会发现现在所有的文生图模型都只能接受英文输入,如果你看到利用中文绘图的服务,那只能说是人家先翻译再生图的。并不是真的利用中文绘图。这两者区别很大,之前百度的文生图模型闹出的笑话就是一个例子。
之所以出现只接受英文输入的情况是因为,现在最好的且免费的文生图模型都是基于stabe diffusion模型的微调模型。sd训练用的tag都是英文的,也就导致模型只能识别英语。
那么问题来了,为什么我们就不能清空stable diffusion的权重,然后使用带中文tag的图片训练模型呢?
有谁能解释下?
我觉得AI绘画没很好普及,跟只能接受英文输入多少有点关系。
2023年05月18日 07点05分 5
@👀我看见你了👀 确实也是种解决办法[捂嘴笑],不过相对来说这样训练出来的模型就不是很全面
2023年05月18日 09点05分
从零开始训练,sd的训练费用约为60万美金。对于大公司来说应该不算贵。
2023年05月18日 08点05分
@AI绘语 我还很好奇为什么没有公司全部使用五十年前过了版权保护期的图片训练,然后这样就不会有这么多版权小鬼天天念叨版权的问题了
2023年05月18日 08点05分
松鼠撅🐟吗[疑问]
2023年07月13日 15点07分
level 7
AI绘语 楼主
三、prompt提示词结构
一个好的prompt应该是详细而具体的。比如,如果你只输入"cat"(猫),生成的图片结果会非常广泛。但是如果你能够缩小范围,例如限定猫的品种、颜色甚至姿势,那么生成的图片就会更接近你的预期。通过提供更具体的描述,可以缩小模型的预测范围,从而更容易得到你想要的结果。
那么如何尽可能地缩小模型的预测范围?或者说,如何撰写一个详细而具体的提示?一个好的提示应该具备以下要素:
1. 主体:明确指出所期望生成图像的主要内容,例如动物、植物或其他物品。包括主体动作、表情、眼睛状态、服饰、装饰物等,以丰富主体的特征。
2. 背景:描述主体所处的环境,包括室内或室外,光线条件等,以帮助模型更好地理解所期望的情境。
3. 构图:包括景别、拍摄角度、景深等,以控制图像的组成和视角。
4. 风格:指定所期望的图像风格,例如插画、卡通、水彩、3D、超现实、复古等,同时考虑画面明暗、对比度等视觉效果。
5. 媒介:说明绘画使用的特定材料或媒介,例如油画、电子绘画、铅笔画等。
6. 画面清晰度:使用能提高画面锐度的关键词,避免模糊的描述。
7. 灯光效果:指定所期望的灯光效果,例如侧光、逆光、环境光等,以增强图像的氛围和视觉效果。
8. 颜色氛围:输入合适的颜色关键词,可以改变整个画面的色调
通过综合运用这些要素,你可以撰写一个详细而具体的提示词,从而更精确地指导模型生成符合你期望的图像。刚开始接触绘画的新人先按照这个模板撰写提示词,融会贯通之后就可以自由改变提示词了。
2023年05月19日 03点05分 6
大佬 提示词保存是在哪个文件夹啊 有的提示词我想删了 占地方但又找不到删除点
2023年05月19日 08点05分
level 10
这吧居然会有好帖[真棒]
想问下负面词该怎么写改善画面,是越多越好吗?lora叠太多到了一个临界点之后噪点很多图片模糊,去抄别人的负面词发现能改善一点
2023年05月19日 06点05分 7
待会我给个模板。另外,还有一种懒人负面词,c站上找找相关的texture embedding,对画人物的改进还不错。
2023年05月19日 07点05分
level 7
AI绘语 楼主
四、举个例子
1、主体
主体(Subject)即是你希望在图像中呈现的主要内容。然而,许多新人常犯的一个错误是未能对主体进行足够详尽的描述。
比如,如果你想要生成一个精灵的图片,许多初次接触AI绘画的新手可能会这样写:
Prompt: an elf (一个精灵)
这样的表述过于简洁,给模型圈定的生成范围还很庞大。这个精灵是在坐着还是站着?表情是怎样的?穿着怎样的衣服?这些都是我们需要详细描述清楚的,否则范围就会很广,生成的图片内容也会变化很大。
因此,为了更准确地指导模型生成预期的图像,我们就需要提供更具体的描述。例如:
模型:Realistic Vision V2.0
Prompt: a beautiful girl as an enchanting forest elf sitting on a tree, serene expression, wearing a flowing green dress with intricate details, (一个如迷人的森林精灵般的美丽女孩坐在一棵树上,表情安宁,穿着一件带有复杂细节的飘逸绿色连衣裙)
emm.....这效果好像已经很不错了,那就这样,教程结束[吐舌]
2023年05月19日 07点05分 8
level 7
有没有群啊 我想进群 好多问题待解决呢 天天🐭🐱大战的[不高兴]
2023年05月19日 08点05分 9
还没呢,评论里问呗
2023年05月19日 09点05分
level 7
支持楼主~
2023年05月19日 08点05分 10
level 7
AI绘语 楼主
2、背景
主体描述已经完善,但是我们还需要提供主体所处的环境信息,以便更好地指导模型生成图像。通过输入环境关键词就可以进一步限制图像生成的范围。
因此,主体所属的环境也是需要进行描述的。将地点,时间,环境元素,天气,光线条件等等都可以输入进prompt来影响背景效果。
在这个例子中,精灵是在树林里的,当然也可以在其它地方,可以结合你自己的想象力去创造更新颖的画面。在这里我就将环境设定在树林里。
Prompt:a beautiful girl as an enchanting forest elf sitting on a tree, serene expression, wearing a flowing green dress with intricate details, forest dominated by towering trees, sunny, warm sunlight, (一个如迷人的森林精灵般的美丽女孩坐在一棵树上,表情安宁,穿着一件带有复杂细节的飘逸绿色连衣裙,参天大树构成的森林,晴天,温暖的阳光)
2023年05月19日 09点05分 11
level 7
AI绘语 楼主
3、构图
构图包括景别、拍摄角度、景深等等。
景别即人物占画面比例的大小,比如full shot(全景)能够显示被拍摄对象的整个身体,包括头到脚的范围。full shot更通俗的表达式full body,即全身。需要注意的是,有些模型不能识别full shot,需要尝试使用full body才能产生效果。相似的,upper body或者half body则指的是上半身,即腰部以上。更多的关键词,下期我再专门总结一篇。
从上面生成的图片来看,很多都是上半身的图像,但我更想要全身的图像,那么我继续添加关键词:
Prompt:a beautiful girl as an enchanting forest elf sitting on a tree, serene expression, wearing a flowing green dress with intricate details, forest dominated by towering trees, sunny, warm sunlight, full body, (一个如迷人的森林精灵般的美丽女孩坐在一棵树上,表情安宁,穿着一件带有复杂细节的飘逸绿色连衣裙,参天大树构成的森林,晴天,温暖的阳光,全身像)
可以发现,当我添加full body之后,确实可以生成全身像,但是能发现一个明确缺点,即容易产生畸形人物,这在半身像中却是不常见的。生成全身像会导致任务畸形是许多模型共同的缺点,这可能是因为训练模型使用的材料缺乏这类图片的原因。
不过这都是可以通过修复工具进行校正,在img2img标签页下就可以进行修复操作,详细的修复教程请继续关注,之后会专门出一期。
好像挖的坑有点多,不知道还能不能填上了[笑眼][笑眼][笑眼]
2023年05月19日 09点05分 13
level 7
AI绘语 楼主
4、风格
设定风格能够对图片产生非常大的影响,不同的风格能够给人不同的感觉,可以使用的关键词有很多。例如fantasy(幻想虚拟风格)、hyperrealistic(超现实主义的)、Modernist(现代主义的)、illustration(插画)等等。这里分享一下小技巧,一个能够准确且有效的改变画面风格的方法是加入特定的画家的名字。比如我加入Alan Lee,他是一个插画家:
Prompt: a beautiful girl as an enchanting forest elf sitting on a tree, serene expression, wearing a flowing green dress with intricate details, forest dominated by towering trees, sunny, warm sunlight, full body, by Alan Lee, fantasy, hyperrealistic, (一个如迷人的森林精灵般的美丽女孩坐在一棵树上,表情安宁,穿着一件带有复杂细节的飘逸绿色连衣裙,参天大树构成的森林,晴天,温暖的阳光,全身像,Alan Lee画的,幻想、超现实的)
可以发现,风格的确发生了一些变化,已经出现了Alan Lee的绘画风格了。效果不是很明显,但是没关系,先用着。
2023年05月19日 09点05分 14
level 7
AI绘语 楼主
周末的广图好热闹,学习氛围非常不错。继续开始今天的码字[吐舌]
5、媒介
媒介即绘画使用的特定材料,例如油画、电子绘画、铅笔画、水彩、墨水等等。
不同媒介对画面的质感能够产生显著的影响,比如:油画能够使整个画面产生特殊的纹理;胶片则会给画面添加颗粒感;
我觉得这个水彩效果对这个主题来说更合适,所以我添加了watercolor(水彩)
Prompt:a beautiful girl as an enchanting forest elf sitting on a tree, serene expression, wearing a flowing green dress with intricate details, forest dominated by towering trees, sunny, warm sunlight, full body, by Alan Lee, fantasy, hyperrealistic, watercolor, (一个如迷人的森林精灵般的美丽女孩坐在一棵树上,表情安宁,穿着一件带有复杂细节的飘逸绿色连衣裙,参天大树构成的森林,晴天,温暖的阳光,全身像,Alan Lee画的,幻想的,超现实的,水彩)
可以发现,添加watercolor关键词已经使画面产生了水彩的效果。
2023年05月20日 02点05分 15
level 7
AI绘语 楼主
tips:先提醒一下,这些顺序只是我总结的时候按照我自己的意愿做的排序,并不代表你在写prompt的时候就必须按照这个顺序写。
模型识别文本遵从一个规律,关键词越靠前,权重就越高,意味着位置越靠前生成的图片中该关键词的效果越明显。
就比如上面的水彩风格,如果我将水彩关键词前置,水彩的效果会变得更加明显。
当我将watercolor关键词放在首位:
prompt: watercolor style, a beautiful young girl as an enchanting forest elf sitting on a tree, serene expression, wearing a flowing green dress with intricate details, forest dominated by towering trees, sunny, warm sunlight, full body, by Alan Lee, fantasy, hyperrealistic(水彩风格,一个如迷人的森林精灵般的美丽女孩坐在一棵树上,表情安宁,穿着一件带有复杂细节的飘逸绿色连衣裙,参天大树构成的森林,晴天,温暖的阳光,全身像,Alan Lee画的,幻想的,超现实的)
下面继续说明其它关键词。
2023年05月20日 03点05分 16
1 2 3 尾页