这个项目背后，主要应用了谷歌云的文字转语音API，它靠DeepMind开发的WaveNet来合成你听到的这些声音。

玩法2：跳着舞就把琴弹了

正常人弹琴，都是乖乖的坐在钢琴前按键盘，或是以演奏姿势抱着吉他、手风琴弹。

但是谷歌这个名叫Body Synth的项目不一样，是让你在电脑前，以手为键，以腿为弦，手舞足蹈，自己弹自己。

先看一下效果，请欣赏由量子位带来的谷歌AI乐器独奏：《和弦》

其中的原理很简单，打开摄像头，自动开启人体姿态识别，四肢和脑袋分别对应不同的音调。

只要监测到身体某个部分有动作，就可以发出对应的音调。

跟我念，

1~2~3~4~5~6~7~

do re mi fa so la si~

以默认的C大调为例，摇头晃脑，发出的就是so的声音。

动动左手，就是mi。

动动右手，就是do。

动动右腿，就是低音so。

动动左腿，就是低音do。

即使转身背对镜头，也是一样可用。

另外，你还可以设置音色音调。

或者打开语音控制开关，默认的音色是吉他，喊一声strings，就可以变成管弦乐，喊一声drums，就可以变成鼓点。

玩法3-6：靠脸吃饭

除了“靠四肢弹琴”，还可以“靠脸吃饭”。

当然，不是真的靠脸吃饭的意思，而是你可以用脸来完成一系列工作（混口饭吃）。

比如说，依靠Sound Canvas工具，你就可以用脸来画画或者写字。

打开Sound Canvas之后，默认是用键鼠来画画。

这太低级了，简直是windows 98自带画图程序的水平。

所以，需要先把Tracking改一下，选中Body，就可以打开摄像头，用脸画画了。

此时，你脸的朝向就是屏幕上画笔的位置，慢慢移动自己的脑袋，微微转头，就可以在屏幕上勾勒线条。

比如，写“量子位”三个字。

人呀，一旦发现了脸的用途，就开始开发新工具。

除了写字，还可以弹琴。

Keyboard就是用来弹琴的。和用脸写字的操作差不多，脸的朝向就是小圆点在屏幕上的位置，操控小圆点敲击屏幕上的琴键，就可以发出对应的声音。

和前面的“跳舞弹琴”一样，Keyboard上也可以选择不同的音色音调，如果你觉得只有5个音不够发挥的话，可以设置到最多15个琴键，两个八度足够演奏很多音乐了。

当然，两个八度的话，琴键太窄了，脸太大不好操作，可以切换回鼠标操作……

熟悉了之后，还可以玩Clarion Lite，虽然也是一个用脸弹琴的项目，不过做了几种不同的花样。

屏幕上的每个彩色区域都应对这一个音调，同样用脸把小圆点放上去即可触发，摇头晃脑，乐声出现。

但是，演奏乐曲对音乐知识还是有一点要求的，有没有小白即刻上手（上脸）的操作？

没问题，谷歌还准备了“用脸当DJ”的Sampler项目，包含鼓点、吉他、号角、古钢琴四段简短的音乐，只要用脸控制小圆点移动上去，就开始自动播放。

现在，请欣赏下一个节目，由量子位为大家演奏《靠脸吃饭的音乐家》。

（中间有一段大家熟悉的歌，听出来的朋友评论区见）

玩法7：用声音画画

这其实是一个音乐可视化的工具。

所谓的音乐，既包括人声也包括多种乐器。你可以打开麦克风自己哼唱，也能调用内置的声音看看效果。

所有输入的声音，能够以不同的模式呈现，比方Hilbert Scope以及Spectrogram，能够显示出声音的细致纹理和旋律的形状。

据一位聋人音乐家表示，这个工具还能更好的帮助他们在听不到或者听不清声音的情况下，更好的学习歌唱。

正经揭秘

但，谷歌搞出这么多奇妙的功能，并不是只想让你玩一天而已。

所有以上这些，是一个被称为Creatability的项目，旨在探索如何通过网络和AI技术，让更多人能够释放自己的创造力。

纽约大学的Claire Kearney-Volpe，曾经作为艺术治疗师遇到过各行各业的人，她认为每个人都能从参与创作的过程中受益。

例如通过画画、制作音乐等方式，帮助患有自闭症的中学生；借助不同的技术手段，为盲人构建工具以完成晚宴的规划和设计。

正是秉持着同样的目的，她和谷歌团队、无障碍社区的伙伴合作，共同搞出了Creatability项目。

在这个项目的帮助下，即便你听不见，也能参与音乐创作。即便你行动不便，可以对着屏幕动动手指或者脑袋，也能感受到音乐的魅力。

在谷歌的宣传片中，行动不便人士的笑容真的很灿烂。

这一项目背后的AI动力，主要是谷歌的TensorFlow.js等工具，让机器学习技术能够在浏览器中实现。

无论你是老师、学生、研究人员还是艺术家，都可以参与其中。你可以玩，也可以利用相关技术，开发并提交自己创造的项目。

当然前提是你还得有科学的方法才能访问~

传送门

这些项目的官网：

g.co/creatability

GitHub：

https://github.com/googlecreativelab/creatability-components

“