最近来自马克斯普朗克计算机科学研究所、MIT CSAIL和Google的研究员,研究了一种新的GAN控制方法DragGA编程N。只需点击拖拽,用户就可以 "改变汽车的尺寸,将人物嘴巴张开或合上等。
DragGAN" 类似于 Photoshop 中的扭曲变形(Warp)工具,但更为强大编程客栈,因为它会重新生成物体,甚至包括旋转3D 图像。这种工具的潜力在于,从AI生成图像并不总是能产生你想要的结果。
所以,可以在生成图像之后再次编辑而不必重新生成一个新图像。研究中提供了一些演示案例,包括增加山峰的高度,改变持杆人的姿势、衣服的长度和形状,张开或闭合狮子的嘴巴,以及将一个人的表情从平淡变成笑容等。
(资料图)
目前有很多公司都在尝试为AI生成内容提供一些功能,但不能编辑由AI生成的图像。
许多人已经关注该论文。然而,由于演示视频基于低分辨率图像,也不清楚什么时候会正式推出,并且效果如何。不过这项技术潜力巨大,如果你也收到“把大象翻过来”的需求,未来这php项技术或可完成任务。
那么,怎么使用 DragGAN?
通过拖拉快速修改图像的细节。
这个名为DragGAN的模型本质上是为各种GAN开发的一种交互式图像操作方法。
论文以StyleGAN2框架为基础,实现了点点鼠标、拖拉控制和目标点的phpP图效果。只需圈出想要移动的区域(例如狗头),就可以设置几个控制点(红点)和目标点(蓝点)。
其后模型将迭代执行运动监控和点跟踪这两个步骤。其中运动监控会强制移动红色控制点到蓝色目标点,点跟踪Kvwiv则用于更新控制点,并追踪图像中被修改的对象。
这个过程将一直持续到控制点到达其对应的目标点。
论文地址:https://vcai.mpi-inf.mpg.de/projects/DragGAN/data/paper.pdf
项目地址(代码6月开源):https://github.com/XingangPan/DragGAN