这是一只面露凶光的哈士奇。
但它凶不过三秒,只要在眼睛上刷一刷:
就回归了呆萌的本性。
机智的你可能已经发现,是左下角那只 (有点像博美的) 小狗,帮它找到了自我。
既然眼睛圆润了,耳朵就没必要再挣扎,也刷一下吧:
一键换上梗犬的耳朵,更加温柔了。
还有,只要让忧郁的小猎犬保持皱眉,再把嘴张开,便可以获得职业假笑。
想修哪里点哪里,这是东京大学和日本独角兽Preferred Networks开源的“插件”,可调教各种GAN:包括BigGAN和StyleGAN,也不用重新训练。
另外,既然是来自东瀛的AI,当然可以定制老婆啦:
已为您生成,棕瞳的猫女。
有Demo可以玩,还有开源代码。
不过为什么,修改局部也可以这样天衣无缝?
面露凶光
团队用了两种方法。
一种是标签拼贴 (Label Collage) 。拼贴大法名叫sCBN。
通俗地说,图上的各种色彩代表不同的标签,共同组成一张标签图 (Label Map) 。比如,红色是狐狸的头:
修改一个标签,把图上的某个部分,标成自己想要的样子:比如把狐狸的头,标成狗头。它就真的变成了狗:
这就是从标签图上生成的结果。
做法很简单,只要在归一化参数上,应用一下位置相关的仿射变换 (Affine-Transformations) ,就能在空间上改变语义信息,不用重新训练一只GAN,直接用预训练网络就可以。
这样,把金毛变成狮子,人类依然笑得灿烂:
就算不是动物,两岸青山相对出,中间的绿草如茵,也能变成碧波粼粼:
但有时候,要修改的部分,对应的并不是单一的标签。
这时,便有了名叫特征混合 (Feature Blending) 的第二种方法。
它不需要用标签图,直接把几张图拼起来就可以了。
一张是源图:
两张作为样本,老爷爷的胡子,和小朋友的刘海:
然后,最初的男生就有了花白的胡子和棕色的头帘:
原理是,虽然想要修改的部位,对应的不是某一个标签;但图上的一个区域,依然可以对应到一组神经元。
前段时间轰动的GAN Dissection算法,就是给网络做解剖,找到一组神经元,对应某个中间特征 (Intermediate Feature) 。
特征混合,就是要加工各种中间特征,把它们无缝融合到一起。
你看,丹凤眼的面瘫少年:
有了棕色的大眼睛,再加上愉快的嘴:
画风就全然不一样了。
你一定还记得,开头的老婆也是这样生成的:
如果“红瞳才是正义!”,今后就可以把这样的方法插进各种GAN,一键追求正义,不用再截下转瞬即逝的缘分了:
开源了
上周,新版本的论文已经发布了。
算法也开源了,近期可能有更新。
想定制老婆的同学,可以使用Demo:
https://colab.research.google.com/github/quolc/neural-collage/blob/master/NeuralCollage_demo.ipynb
代码传送门:
https://github.com/quolc/neural-collage
论文传送门:
https://arxiv.org/pdf/1811.10153v2.pdf
“