编程客js栈(www.cppcphpns.com)6月5日 消息:只要给出一张图片作为参考,StyleDrop就能学习图片的风格,并帮助生成复刻出同风格作品。据称,谷歌的方法优于 Dreambooth、LoRA 或 Text编程客栈ual Inversion 等其他方法。
谷歌的新方法可以使用Muse(Muse 是一种文本GlGGltJ到图像的生成视觉转换器)文本图像模型合成特定风格的图像。StyleDrop 捕捉自定义样式的复杂性,包括配色方案、阴影、设计模式以及局部和全局效果。根据谷歌的说法,所需的操作只需输入一张图片即可。大家可以看看以下官方案例:
设计出原风格的水彩绘画:
【资料图】
设计出原风格的logo:
设计出原风格的字母:
StyleDjavascriptrop通过微调少量可训练的网络参数来学习新的风格,然后通过人工或自动反馈的迭代训练来提高模型的质量。
学习速度快且示例很少
具体来说,StyleDrop 在输入图像上进行训练并生成一组图像来重现该图像。从这些图像中,最高质量的图像通过 CLIP 评分或人工反馈选出,并用于进一步的训练。如果图像不是重现原始图像的内容,而是重现原始图像的风格,则该图像被认为是高质量的。
该团队表示,即使加上工反馈,整个过程也不到三分钟。这是因为 StyleDrop 无需大量的图片来进行迭代训练。
据该团队称, StyleDrop 优于其他从文本到图像模型的样式转换方法,包括 Dreambooth、LoRAs 和Imagen和Stable Diffusion中的文本反转。
与其他方法和模型相比,使用 Muse 的 StyleDrop作品效果
官方还称,StyleDrop 能够捕捉各种风格的纹理、阴影和结构的细微差别,明显优于以前的方法,从而比以前模型更能控制风格。
该团队还将 StyleDrop 与 Dreambooth 相结合,以学习和创建不同样式的新对象作为图像,并可以使用 Muse 的方法以自定义样式创建自定义对象。
StyleDrop学习一种风格,Dreambooth学习一个新对象,比如一只狗
谷歌将 StyleDrop 视为一种多功能工具,其中一个用例是允许设计师或公司使用他们的品牌资产进行训练,并以他们的风格快速制作新想法的原型。
StyleDrop项目网址:https://styledrop.github.io/