您的位置:首页 > 电脑软件

用“对抗生成网络”也可以 P 图,效果不输 Photoshop

发布时间:2021-11-13 09:57:00  来源:互联网     背景:

  把人的眼睛变大、把嘴合上、转动眼珠:

  质量如此逼真、一点糊图的痕迹都没出现 。

  如果我不说,你知道这其实是对抗生成网络(Generative Adversarial Network,以下简称为 GAN)自己 P 的吗?

  除了人脸,汽车啊鸟啊猫啊也都可以,比如改改车轮大小、换个车轴样式:

  把小鸟的喙部变长、头抬高、胸脯变壮:

  用动图展示就更炫酷了:

  大点大点,圆点圆点,头发再多一点……

  怎么样,这 GAN 的效果是不是也不输 PS?

  一个高质量 P 图 GAN

  以上这些都来自一个叫做 EditGAN 的模型,可以对图像实现很多细节上的编辑,同时还能保持原图质量。

  研究出自英伟达、多伦多大学以及 MIT,相关论文已被 NeurIPS 2021 接收。

  在此之前,大多数基于 GAN 的图像编辑方法往往都需要大规模数据集上的语义分割注释才能训练,并且也只能做一些有限的修改,有的甚至只是在两张图之间简单地进行插值。

  EditGAN 作为一种全新方法,只需少量语义标记就能训练。

  它会把原图像分割成高度精细的语义块(segmentation mask),有多精细呢?

  就比如下面这张人脸图,被足足按 30 种语义进行了分割:

  而在一个交互工具中(还未开放地址),只需操作这些语义块就可以对相应部分进行修改。

  EditGAN 的关键思想在于利用图像和语义分割的联合分布 p (x, y) 。

  具体来说就是给定要编辑的新图像 x,将其嵌入到 EditGAN 的潜空间,由于语义分割图和 RGB 图像共享相同的潜码,所以可以得到相应的分割图 y。

  接着,使用简单的交互式数字绘画或标签工具,可以根据所需的编辑手动修改分割图 y。

  然后进行共享潜码的优化,以保持新分割图与真实图像的 RGB 外观一致,如图所示:

  相应的梯度则通过共享生成器反向传播而成。

  结果就是潜空间中的编辑向量 δw + edit。

  此外,EditGAN 通过学习提炼各种各样的编辑向量,可以直接应用于新的图像。

  还可以泛化到绘画作品上

  真实质量如何?

  研究人员在在四个不同类别的图像上对 EditGAN 进行评估:汽车(空间分辨率 384×512)、鸟类(512×512)、猫(256×256)和人脸(1024×1024)。

  定性实验结果

  将 EditGAN 此前学习的编辑向量应用于新图像,经过 30 个优化步骤的细化,EditGAN 的编辑操作保持了原图像的质量。

  用它进行高精度细节编辑的效果也很好,比如下面左图对轮轴的旋转,右图对瞳孔大小的修改:

  在下面这种高清的图像上效果就更好了:

  作者表示,目前其他方法都还不能达到这样的效果。

  此外,EditGAN 也有很强的泛化能力,比如在下面这种绘画等风格的人像上,做点小表情毫无违和感。

  定量实验结果

  和基于 MaskGAN 的 smile 编辑基准的模型相比,EditGAN 则实现了最佳属性精度和 ID 分数。

  最后,和所有基于 GAN 的图像编辑方法一样,EditGAN 仅限于应用到由 GAN 建模的图像上。

  作者介绍

  一作凌欢,多伦多大学博士生,同时在该校人工智能研究院(Vector Institute)和英伟达做研究。

  共同一作 Karsten Kreis,英伟达高级研究科学家,2018 年以博士学位毕业德国马普高分子所。

  其余作者包括:英伟达多伦多 AI Lab 的 Li Daiqing,多伦多大学的 Seung Wook Kim,以及 MIT 教授 Antonio Torralba。

  通讯作者为一作导师,多伦多大学副教授,英伟达 AI 总监 Sanja Fidler。

特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页

本文评论
外媒实测 ColorOS 11 海外版,操作流畅度显著提高
2020 年 9 月 14 日,ColorOS 11 海外版在线上正式发布,国外媒体也纷纷发表了对 ColorOS 11 海外版......
日期:09-15
从内容价值到商业价值:美拍创新玩法助力电商双十一
11月9日,美拍“双十一拆免单”活动上线。11月9日至11月11日活动期间,涵盖美妆、箱包、......
日期:11-09
微软 Chromium 版 Edge Canary 大幅提升电量续航
7月7日消息 谷歌希望通过限制标签页的后台进程来大幅降低其Chrome浏览器的能耗。现在微软Chromium ......
日期:07-07
Mozilla Firefox 82 现已发布:性能提升,新外观等
10月20日消息 Mozilla 今天发布 Firefox 82.0 更新,其中包含大量新的改进。Firefox 82 带来了更强......
日期:10-21
百度地图十一出行预测来了!京城游火爆,天安门广场有望成热门景点TOP1
你有多久没去旅游了?眨眼之间,2020年已过去四分之三。当中秋与国庆“强强联合”的八天长......
日期:09-17
微软 Cortana 移动应用寿终正寝
4 月 1 日消息 微软在 Android 和 iOS 平台上的 Cortana 应用已经在 2021 年 3 月 31 日正式停止服......
日期:04-01
微软 Edge 浏览器创下里程碑,超 1000 个版本面向 Dev 和 Canary 频道推送
9 月 10 日消息 据 onMSFT 报道,微软今天分享了微软 Edge 浏览器的一个重要里程碑。微软表示,自从最初宣布推出基于 Chromium 的...
日期:09-10
微软Visual Studio Code 1.44正式发布:加入新Python教程、时间轴视图
Visual Studio Code 发布了 1.44 版本,即 2020 年 3 月更新版。最值得关注的更新亮点有这些:...
日期:04-10
短短三年,Firefox 火狐浏览器用户规模锐减近 5000 万
8 月 9 日消息 Reddit 用户 nixcraft 在 Mozilla 的公共数据报告中注意到,Firefox 浏览器在过去三......
日期:08-09
谷歌将添新功能:允许用户在搜索结果中发表评论
北京时间11月19日报道,谷歌计划在其搜索服务中推出一项新功能,允许用户在搜索结果中留下其他人可......
日期:11-19
讯飞输入法&讯飞智能鼠标AI输入“双擎”惊艳1024开发者节
10月23日,2020科大讯飞全球1024开发者节正式开幕,迅速成为科技界的热点事件。随着AI的发展,科技......
日期:10-23
Opera 65浏览器发布:改进Tracker Blocker及重新设计地址栏等
Opera Software方面宣布,推出全新版本的桌面浏览器Opera65,该版本包括对Tracker Blocker的重要更......
日期:11-16
微软IE浏览器存在远程代码执行漏洞,攻击者可借此控制系统
周一,微软向用户警告广受欢迎的Internet Explorer存在一个高危的漏洞,攻击者利用此漏洞可以接管你......
日期:09-26
微软宣布:Office Excel 桌面应用将支持平滑滚动,更流畅
10 月 9 日消息 据 mspoweruser 报道,微软宣布,他们将在不久的将来为其 Excel 桌面应用带来对更平滑的滚动支持。...
日期:10-09
华为云SQL Server新增慢SQL审计功能,全新功能一键开通
数据库性能诊断和优化是提高数据库性能和稳定性的关键技术之一。快速的发现问题、定位根因并且进行......
日期:06-25
AMD处理器单板机公布:搭载R1000系列嵌入式SoC
3月22日消息 根据AnandTech的报道,DFI宣布了世界上最小的搭载AMD处理器的单板机,使用的是Ryzen嵌......
日期:03-22
中国软件产业的“魂”:自主核心技术
随着社会的飞速发展,人们面临一次又一次的机遇和挑战,科技领域也在不断地前进和突破。近年来,我国......
日期:06-24
曝英特尔 11 代桌面酷睿单核性能提升 18%
IT之家 10 月 31 日消息 英特尔现已提前数月公布了 11 代桌面酷睿的架构和新特性, Rocket Lake-S ......
日期:10-31
谷歌 Chrome 浏览器发现漏洞,需尽快升至 84 及以上版本
8 月 10 日 , 安全研究员在 Windows,Mac 和 Android 的基于 Chromium 的浏览器(Chrome,Opera 和 E......
日期:08-11
由内至外的变革与改造 优美与高效的EMUI 9
(原标题:GPU Turbo2.0加持!EMUI 9深度体验:优美与高效兼具)...
日期:10-19