这是风和日丽的一天，有位黑衣男子照常开始了网球训练。
(请忽略这是卡塔尔公开赛上的费德勒。)
突然之间，球场变成了游戏，他也成了主人公 (如下图) 。
不自由地奔跑，不自主地挥舞球拍，一切听从玩家控制。左下角瞩目：
一切发生得太快，男主还没来得及反应，就莫名地开始穿越。出现在了其他的球场，还认识了新队友：
当局者迷，就算手脚不听使唤，也很难想到自己被人“玩”了吧。
玩家是来自Facebook的一小撮研究人员。
他们开发的Vid2Game算法，直接把视频主角，变成可以控制的游戏人物；也能随意变换游戏场景，毫不违和。
另外，这个算法可以实时运行。只要手边有个视频，就能直接控制里面的人类，无需等待：
△ 实时Demo
今后，你的游戏会变得很热闹吧。如果把自己变成主角，你想要谁来演NPC？
除此之外，鬼畜圈大概也不会毫无波澜 (误) 。
△ 来自B站阿婆：橙某
好的，不要再多想了。书归正传，视频变游戏，到底经历了什么？
合二为一
首先，姿态估计自然是必须的。但在那之后呢……
Facebook团队说，算法包含了两个神经网络。
第一个叫Pose2Pose。它会根据当前的姿势，以及一个 (可能来自手柄的) 控制信号，生成下一帧的姿势。
它的生成器长这样：
当然，生成姿势并不是全部，人类要在各种背景里完美地移动，不要PS痕迹。
所以，还有第二并行的网络叫Pose2Frame。
一顿渲染，把移动的人类和背景融为一体，就能输出正式的一帧画面了。
具体来说，要根据Pose2Pose生成的那些姿势，恢复出人类各个角度的完整模样 (下图：右下) 。
然后生成蒙版，就是左下的效果。
有了蒙版，再把人类混合到给定的背景里去，就完成了。
团队测试了一下，Vid2Game的合成效果，比前辈Vid2Vid更优质：
如果你没看出有什么分别：
在前辈生成的画面里，妹子的舞动破坏了背景的安宁，窗户的轮廓变得有些凌乱。而Vid2Game的作品，窗户依然是那个窗户。
如果你觉得，跳舞的妹子并没有打开新世界的大门。那么：
One More Thing
这里有一位优雅的击剑选手，在安静地练习。
对面是白墙的话，多少有些寂寞。
所以，给它一个优秀的游戏对手吧。
有了对手，动作都变快了：
你会不会也想试试屠龙的感觉？
论文传送门：
https://arxiv.org/pdf/1904.08379.pdf
— 完 —
诚挚招聘
量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ’ᴗ’ ի 追踪AI技术和产品新动态
“
