输入一张女性的照片,就能得到果体照,一件脱衣的DeepNude火了。但也因为面临巨大的道德争议,这款软件的开发者选择了将它下架。
而且DeepNude本身也不开源,我们只能从开发者零星的介绍中知道,它用到了pix2pix。
在巨大的求知欲驱动下,来自四川大学计算机学院在读硕士袁宵在自己的GitHub探究了DeepNude背后原理,研究图像生成和图像修复相关的技术和论文。
据他的分析,其实DeepNude只是“站在巨人的肩上”,里面用到的技术都是近两年CV领域的重大研究成果,而且都已经开源。
当然,作者本身对这项技术是持批判态度的。
原理
DeepNude主要使用了2018年发表的文章《Image Inpainting for Irregular Holes Using Partial Convolutions》中提出的图像到图像技术。
它可以把简笔画变成色彩丰富的图像,感兴趣的同学可以去Demo网站在浏览器中试玩。
具体来说,DeepNude主要使用了计算机视觉领域的3项技术。
1、图像修复
即上面提到的文章,这是来自英伟达Guilin Liu等人的团队在2018年发表的研究。
当画面被严重涂抹后,模型仍然能够恢复出“原来”的图像,可以说是“毫无PS痕迹”。
Image Inpainting除了能修复受损的图像,还能去掉图像中的某些物品,比如把草地中的石头涂抹一下,恢复的后图片中不再有石头。
DeepNude用它除掉了图片里的衣服。
2、Pix2Pix
这是加州大学伯克利分校在2017年发表的文章,使用条件对抗网络作为图像到图像转换问题的通用解决方案。
从语义分割到原图、从黑白到彩色、补全简笔画等等,Pix2Pix几乎无所不能。
3、CycleGAN
这是来自朱俊彦本人的博士论文,曾获得2018年ACM SIGGRAPH最佳博士论文奖。
CycleGAN使用循环一致性损失函数来实现训练,而无需配对数据。换句话说,它可以从一个域转换到另一个域,而无需在源域和目标域之间进行一对一映射。这开启了执行许多有趣任务的可能性,例如照片增强,图像着色,风格迁移等。您只需要源和目标数据集。
它可以在普通的马和斑马之间进行转换,也能把夏天的景色变成冬天的景色。
以上3种工具的代码都已经开源。
DeepNude文件
DeepNude软件包中所有的文件如下:
袁宵认为DeepNude软件还是存在一些缺点可以改进的:
1、软件体积太大:一个pyqtlib.rar文件的体积就高达1.9GB。
2、转换速度慢:处理一张图片需要30秒;
3、内容不尊重女性:这是对深度学习技术的错误使用
他认为,DeepNude可以使用TensorFlow来实现,压缩模型的体积。软件本身也应该改变目前不尊重女性的做法,把这项技术用在正途上。
研究人员应努力为人类谋福祉,而不是通过违法软件获取收入。
求种现场
虽然袁宵本人的愿望很美好,但是这个项目的讨论页面还是不可避免地成为了求种现场。
随着DeepNude下架,有人希望作者能提供原版软件下载地址,或者提供一些代码之类的。
作者本人当然是严词拒绝,不光关乎道德,因为在中国传播色情软件是违法的。
最后插播一条最新消息,另一款”羞羞”的软件也被视为非法了,那就是可以把爱情动作片女主角换成任意女神的Deepfake。
在美国弗吉尼亚州,未经本人同意,制造虚假的裸露图片或视频将视作犯罪,可处以罚款乃至监禁。
传送门
原文链接:
https://github.com/yuanxiaosc/DeepNude-an-Image-to-Image-technology
Image-to-Image Demo:
https://affinelayer.com/pixsrv/
其他涉及的论文地址:
Image Inpainting for Irregular Holes Using Partial Convolutions
https://arxiv.org/abs/1804.07723
Image-to-Image Translation with Conditional Adversarial Networks
https://phillipi.github.io/pix2pix/
Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
https://arxiv.org/abs/1703.10593
“