今天是一篇充满“被拒”情感色彩的推送。三组故事,都和AI有关。
这是第一组。
一篇论文,一篇“不同寻常”的论文,不久前发布在arXiv上。
通常论文们都会在Comments一项,注释出论文的光辉履历。譬如被哪个顶会Accepted了,或者至少正被某顶级期刊Review中。
但这一篇,不一样(BGM请脑补)。
还没来得及细看标题,我们就被Comments里大喇喇写着的一句话,吸引了眼球:“Rejected from ICLR 2018”……
蛤?被ICLR拒了?还这么高调?
再抬眼一眼,两位作者之一,正是已经升任Facebook首席AI科学家的Yann LeCun。他还有另一重身份:ICLR大会的创始人,以及现任的大会主席。
看到这里,量子位不禁有些感慨(想笑)。
LeCun参与的论文,(又)被LeCun创办的大会拒绝了。
要知道,ICLR 2018大会共收到论文,总共收到了900多篇论文。其中只有508篇论文彻底被拒。
这个入围比例,在AI的顶会里面,算是感人了。差不多快比NIPS高出一倍。所以,一篇论文想被ICLR拒掉,相对哈、相对还是比较难的事情。
但LeCun还是做到了。
而且吧,还是两篇……真的,这次共有三篇LeCun参与的论文投了ICLR,但是有两篇被华丽丽的拒掉了,还有一篇,只中了Workshop Papers。
三篇论文的OpenReview的评分:5.67、3.50、5.70。
在自己的“地盘”遇上这种事儿,就LeCun这暴脾气,你猜他在Twitter和Facebook会怎么怼回去?哼哼,他一句话也没有说~
因为,他可能已经习惯了。
LeCun应该不会忘记,去年的ICLR 2017大会,他也有论文也被华丽丽的拒掉了……而且入围了所谓惨遭ICLR 2017拒绝的十大好论文。好在他不孤单,另一位主席Yoshua Bengio也入围了“十大惨拒”排行榜。
再看今年,Bengio有9篇被拒掉了。
说到这里,想起LeCun在NYU的同事,更是Yoshua Bengio的弟子Kyunghyun Cho,。ICLR 2018结果发布后,他在Twitter上感慨,有篇他以为能中Poster的论文,最后被拒了。
结尾,他发了一个“lol…”
拒稿是门手艺,笑对需要勇气。
但其实,被拒稿这种事,对搞神经网络的学者来说,算得了什么。
不信来看第二组故事。
每个年初,都是回忆的季节。
特别是回忆起申请学校被拒的往昔。
斗酒搞出GANs的Ian Goodfellow,年纪轻轻已经闻名天下。但他也有自己的挫折时光,前不久他回首申请学校的往事时说:
“我从来没从MIT收到回信。我被CMU拒掉。虽然最后被多伦多大学录取,但是没能和我期望的导师一起工作。我获得过国家科学基金会的表彰,但一分钱也没拨给我。”
之所以谈起这些,都是因为加州大学伯克利分校的助理教授Moritz Hardt,这也是一位颇具知名度的人工智能学者。去年Ali Rahimi在NIPS掀起“炼金术”风波时还曾提到他。
“每年这个时候我都会提醒自己:一个成功学术生涯的典型开端,就是从被一堆优秀的研究生院拒绝开始的。”就是Hardt这句话,引发了Goodfellow的感慨。
发出感慨的还有更多人。比方Nicolas Le Roux说,他16岁被高中拒掉、18岁被巴黎综合理工大学拒掉、21岁被多伦多大学拒掉、26岁被伯克利拒掉、28岁被谷歌拒掉……现在他是谷歌大脑的机器学习研究员,Goodfellow的同事。
总之,申学校被拒引发不少人的共鸣。
这让现在伦敦搞机器学习的研究员Ferenc Huszár都有点“怀疑人生”,他说:是不是因为我没被拒过,所以没有学术生涯……(当然他是开玩笑的)
但失败是成功之母这种论调,是不是一种幸存者偏差?
对于这种质疑,Goodfellow说也有可能。但他强调:“不要因为暂时的失败灰心丧气。”他说可以失望但不要泄气。
Goodfellow说他自己不会因为被拒绝而质疑自己是不是不够好,反而会一直想“接下来干什么才是最佳选择?”
对当时求学中的Goodfellow来说,最大的问题就是缺少奖学金,他一直不断申请更多,直到三年后拿到谷歌的奖学金。
有人打趣说,也许Goodfellow去了MIT就会搞GOFAI(有效的老式人工智能),而不是搞出GANs了。
还有人说虽然Goodfellow当年被MIT拒掉,但好在后来MIT Technology Review补偿给他一个“35下35”的奖励。
好吧。申请学校被拒,毕竟只是一时。
第三组故事是关于被拒绝后更长久的坚守。
也许这些你都曾有所耳闻。
整个人工智能行业,尽管只有几十年的发展,但其间已经经历过几起几落。然后逐步从“寒冬”中慢慢的复苏。
1980年代LeCun在巴黎读大学时,计算机就是瞎子,无法识别图片中的内容,也无法判断摄像头前方出现了什么。但就在那个时候,LeCun偶然涉足了探索人工智能领域的一种方法:“智能神经网络”。
这并不是一条新路,而且并不受待见。但在攻读博士学位时,LeCun顶着一片质疑声专注于研究神经网络。“我只是不相信他们所说的。”他说。
1990年代中期,LeCun加入贝尔实验室研究人工智能,但AT&T的内部矛盾导致了他的团队分裂。他们成功的让ATM学会了读取支票,但“在取得真正成功的那一天,整个项目被解散。这令人非常沮丧。”
2000年代初期,LeCun的处境愈发边缘化。一些学术机构甚至不允许LeCun在它们举办的会议上发表论文。计算机视觉的圈子将其拒之门外。
其他人日子也不好过。
在蒙特利尔大学任教的Yoshua Bengio发现,他很难找到愿意与自己共事的研究生。“我需要强迫学生从事这方面的研究,他们害怕在博士毕业后找不到工作。”
同一时期,Hinton实验室的学生回忆说:当时还是AI的“冬天”,搞人工智能研究既没什么就业前景,也没什么资金支持,更别提工业界的青睐。
Hinton出生于一个学术背景显赫的世家。在他长大成人的过程中,母亲给过他两种选择:“做学者,或是做失败者。”Hinton说,自己一辈子都在压抑、沮丧中挣扎。
但他投入研究的神经网络,真真是经历过漫长而幽暗的岁月。除了面对学术上的不认可,他的两任妻子先后罹患了癌症。而他自己也深受背痛困扰。
Bengio评价Hinton时说“他有时可以穿过黑暗看清事物。但他的个人生活非常不容易。他也有他的黑暗时代”。
不过最终,他们都算是等到了春天。
关于第三组故事更多的细节,可以看看量子位之前发布的《LeCun列传》和《Hinton:人类就是机器,绝妙的机器》。Hinton那篇发布后,总觉得有首歌很适合。
就在这里补一下吧。
“