图片种子(图片种子代码实现)墙裂推荐

来源丨机器之心点击进入—>计算机视觉工坊学习交流群甲方：「我想让这只小狗坐下。」AI：安排！
动动嘴皮子就能把图改好是甲方和乙方的共同愿望，但通常只有乙方才知道其

 

来源丨机器之心点击进入—>计算机视觉工坊学习交流群甲方：「我想让这只小狗坐下。」AI：安排！

动动嘴皮子就能把图改好是甲方和乙方的共同愿望，但通常只有乙方才知道其中的酸楚如今，AI 却向这个高难度问题发起了挑战在一篇 10 月 17 日上传到 arXiv 的论文中，来自谷歌研究院、以色列理工学院、以色列魏茨曼科学研究所的研究者介绍了一种基于扩散模型的真实图像编辑方法——Imagic，只用文字就能实现真实照片的 PS，比如让一个人竖起大拇指、让两只鹦鹉亲吻：。

「求大神帮忙 P 一个点赞手势」扩散模型：没问题，包在我身上从论文中的图像可以看出，修改后的图像依然非常自然，对需要修改的内容之外的信息也没有明显的破坏类似的研究还有谷歌研究院和以色列特拉维夫大学之前合作完成的 Prompt-to-Prompt（Imagic 论文中的参考文献 [16]）：。

项目链接（含论文、代码）：https://prompt-to-prompt.github.io/因此，有人感慨说，「这个领域变化快到有点夸张了，」以后甲方真的动动嘴就可以想怎么改就怎么改了。

Imagic 论文概览

Imagic: Text-Based Real Image Editing with Diffusion Models论文链接：https://arxiv.org/abs/2210.09276将大幅度的语义编辑应用于真实照片一直是图像处理中一个有趣的任务。

近年来，由于基于深度学习的系统取得了长足的进步，该任务已经引起了研究社区相当大的兴趣用简单的自然语言文本 prompt 来描述我们想要的编辑（比如让一只狗坐下）与人类之间的交流方式高度一致因此，研究者们开发了很多基于文本的图像编辑方法，而且这些方法效果也都不错。

然而，目前的主流方法都或多或少地存在一些问题，比如：1、仅限于一组特定的编辑，如在图像上作画、添加对象或迁移风格 [6, 28]；2、只能对特定领域的图像或合成的图像进行操作 [16, 36]；3、除了输入图像外，它们还需要辅助输入，例如指示所需编辑位置的图像 mask、同一主题的多个图像或描述原始图像的文本 [6, 13, 40, 44]。

本文提出了一种语义图像编辑方法「Imagic」以缓解上述问题只需给定一个待编辑的输入图像和一个描述目标编辑的单一文本 prompt，该方法就可以对真实的高分辨率图像进行复杂的非刚性编辑所产生的图像输出能够与目标文本很好地对齐，同时保留了原始图像的整体背景、结构和组成。

如图 1 所示，Imagic 可以让两只鹦鹉接吻或让一个人竖起大拇指它提供的基于文本的语义编辑首次将如此复杂的操作应用于单个真实的高分辨率图像，包括编辑多个对象除了这些复杂的变化之外，Imagic 还可以进行各种各样的编辑，包括风格变化、颜色变化和对象添加。

为了实现这一壮举，研究者利用了最近成功的文本到图像的扩散模型扩散模型是强大的生成模型，能够进行高质量的图像合成当以自然语言文本 prompt 为条件时，它能够生成与要求的文本相一致的图像在这项工作中，研究者将它们用于编辑真实的图像而不是合成新的图像。

如图 3 所示，Imagic 完成上述任务只需要三步走：首先优化一个文本嵌入，使其产生与输入图像相似的图像然后，对预训练的生成扩散模型进行微调，以优化嵌入为条件，更好地重建输入图像最后，在目标文本嵌入和优化后的嵌入之间进行线性插值，从而得到一个结合了输入图像和目标文本的表征。

然后，这个表征被传递给带有微调模型的生成扩散过程，输出最终编辑的图像

为了证明 Imagic 的实力，研究者进行了几个实验，将该方法应用于不同领域的众多图像，并在所有的实验中都产生了令人印象深刻的结果Imagic 输出的高质量图像与输入的图像高度相似，并与所要求的目标文本保持一致。

这些结果展示了 Imagic 的通用性、多功能性和质量研究者还进行了一项消融研究，强调了本文所提出的方法中每个组件的效果与最近的一系列方法相比，Imagic 表现出明显更好的编辑质量和对原始图像的忠实度，特别是在承担高度复杂的非刚性编辑任务时。

方法细节给定一个输入图像 x 和一个目标文本，本文旨在以满足给定文本的方式编辑图像，同时还能保留图像 x 的大量细节为了实现这一目标，本文利用扩散模型的文本嵌入层来执行语义操作，这种方式有点类似于基于 GAN 的方法。

研究人员从寻找有意义的表示开始，然后经过生成过程，生成与输入图像相似的图像之后再对生成模型进行优化，以更好地重建输入图像，最后一步是对潜在表示进行处理，得到编辑结果如上图 3 所示，本文的方法由三个阶段构成：（1）优化文本嵌入以在目标文本嵌入附近找到与给定图像最匹配的文本嵌入；（2）微调扩散模型以更好地匹配给定图像；（3）在优化后的嵌入和目标文本嵌入之间进行线性插值，以找到一个既能达到图像保真度又能达到目标文本对齐的点。

更具体的细节如下：文本嵌入优化首先目标文本被输入到文本编码器，该编码器输出相应的文本嵌入

，其中 T 是给定目标文本的 token 数，d 是 token 嵌入维数然后，研究者对生成扩散模型 f_θ的参数进行冻结，并利用去噪扩散目标（denoising diffusion objective）优化目标文本嵌入 e_tgt。

其中，x 是输入图像，

是 x 的一个噪声版本，θ为预训练扩散模型权值这样使得文本嵌入尽可能地匹配输入图像此过程运行步骤相对较少，从而保持接近最初的目标文本嵌入，获得优化嵌入 e_opt模型微调这里要注意的是，此处所获得的优化嵌入 e_opt 在通过生成扩散过程时，不一定会完全和输入图像 x 相似，因为它们只运行了少量的优化步骤（参见图 5 中的左上图）。

因此，在第二个阶段，作者通过使用公式 （2） 中提供的相同损失函数优化模型参数 θ 来缩小这一差距，同时冻结优化嵌入

文本嵌入插值Imagic 的第三个阶段是在 e_tgt 和 e_opt 之间进行简单的线性插值。对于给定的超参数

，得到

然后，作者使用微调模型，以 

为条件，应用基础生成扩散过程。这会产生一个低分辨率的编辑图像，然后使用微调辅助模型对目标文本进行超分辨率处理。这个生成过程输出最终的高分辨率编辑图像

实验结果为了测试效果，研究者将该方法应用于来自不同领域的大量真实图片，用简单的文字 prompt 来描述不同的编辑类别，如：风格、外观、颜色、姿势和构图他们从 Unsplash 和 Pixabay 收集了高分辨率的免费使用的图片，经过优化，用 5 个随机种子生成每个编辑，并选择最佳结果。

Imagic 展示了令人印象深刻的结果，它能够在任何一般的输入图像和文本上应用各种编辑类别，如图 1 和图 7 中所示

图 2 中是对同一张图片进行了不同的文字 prompt 实验，显示了 Imagic 的多功能性。

由于研究者利用的底层生成扩散模型是基于概率的，该方法可以对单一的图像 - 文本对生成不同的结果图 4 展示了使用不同的随机种子进行编辑的多个选项（对每个种子的η稍作调整）这种随机性允许用户在这些不同的选项中进行选择，因为自然语言的文本 prompt 一般都是模糊和不精确的。

研究将 Imagic 与目前领先的通用方法进行了比较，这些方法对单一输入的真实世界图像进行操作，并根据文本 prompt 对其进行编辑图 6 展示了 Text2LIVE[7] 和 SDEdit[32] 等不同方法的编辑结果。

可以看出，本文的方法对输入图像保持了高保真度，同时恰当地进行了所需的编辑当被赋予复杂的非刚性编辑任务时，比如「让狗坐下」，本文方法明显优于以前的技术Imagic 是第一个在单一真实世界图像上应用这种复杂的基于文本的编辑的 demo。

点击进入—>计算机视觉工坊学习交流群干货下载与学习后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf后台回复：3D视觉课程，

即可学习3D视觉领域精品课程计算机视觉工坊精品课程官网：3dcver.com1.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)2.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进

3.国内首个面向工业级实战的点云处理课程4.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解5.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦6.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化

7.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)8.从零搭建一套结构光3D重建系统[理论+源码+实践]9.单目深度估计方法：算法梳理与代码实现

10.自动驾驶中的深度学习模型部署实战11.相机模型与标定(单目+双目+鱼眼）12.重磅！四旋翼飞行器：算法与实战13.ROS2从入门到精通：理论与实战14.国内首个3D缺陷检测教程：理论、源码与实战15.基于Open3D的点云处理入门与实战教程

16.透彻理解视觉ORB-SLAM3：理论基础+代码解析+算法改进重磅！粉丝学习交流群已成立交流群主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、ORB-SLAM系列源码交流、深度估计、TOF、

求职交流等方向扫描以下二维码，添加小助理微信（dddvisiona）,一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“请按照格式备注，可快速被通过且邀请进群原创投稿也请联系。

▲长按加微信群或投稿，微信号：dddvisiona3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、

源码分享、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答等进行深耕，更有各类大厂的算法工程人员进行技术指导与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，4000+星球成员为创造更好的AI世界。

共同进步，知识星球入口：学习3D视觉核心技术，扫描查看，3天内无条件退款

 高质量教程资料、答疑解惑、助你高效解决问题觉得有用，麻烦给个赞和在看~

免责声明：本站所有信息均搜集自互联网，并不代表本站观点，本站不对其真实合法性负责。如有信息侵犯了您的权益，请告知，本站将立刻处理。联系QQ：1640731186