NeurIPS 2019马上就要接受投稿了!但规则有了两点重大变化。
一是这一AI顶级学术会议宣布,本届所有投稿论文都要回答关于研究可复现的问题。
与此同时,他们也发出倡议,希望所有能够提交代码的论文都提交代码,但不强制执行。
在不少人看来,这些变化对于AI社区来说是一个大好事。
谷歌研究员hardmaru评论称,虽然不强制执行,但也给了评审依据,来快速拒绝那些不承诺披露代码的论文。
此外,除了这两大变化之外,还有其他三项变化,分别涉及投稿截止日期、论文作者以及附加材料。
直指AI社区争议
研究不可复现,现在已经被人称为飘浮在AI上空的幽灵,导致相关研究的可信度大大降低。
2016年,《Nature》发起的一项相关调查显示,有52%的科学家认为存在重大的可复现性危机。
AAAI Fellow、加拿大计算机科学家Joelle Pineau一直在强调可复现性对AI带来的负面影响。
在2018年的AAAI和NeurIPS会议上,研究的可复现问题讨论和关注度到了近年来的顶点。
NeurIPS 2019决定直面这一问题,任命Joelle Pineau为“复现主席”(Reproducibility Chair)来协调这方面工作。
所有提交论文的作者,都需要回答关于可复现问题的问卷。
问卷中,一共有13个问题,涉及模型、算法、理论声明以及研究结果等方面。
此外,是否提交代码,也是影响研究可复现性的一个重要因素。
关于这一问题,NeurIPS 2019也表达了态度:希望作者提交代码。
并制定了相关的细则来规范这一流程:
- 1、这一规定只适用于贡献和提出一个新算法(或对现有算法提出修改)的研究。
- 2、这一规定只是期望,并不强制执行。
- 3、接受作者重新实现时使用的代码,而不是最初运行的代码。
- 4、接受因为硬件、数据集等等问题而不可执行的代码。
- 5、只适用于已被会议接受的论文,要在10月27日前提交完成。
此外,NeurIPS 2019也指出,虽然这只是一个倡议,但其结果将会作为后续几年政策制定的参考。
同时,他们也在考虑引入更多的激励措施,来鼓励研究者披露代码。
论文提交截止日期有变
5月1日,NeurIPS 2019开始接受投稿,全文提交截止日期到北京时间5月23日中午12点。
与之前不同的是,在全文提交截止时间之前,NeurIPS 2019有设置了一个摘要提交截止日期,比全文提交截止日期早一周:北京时间5月16日中午12点。
只有在这一时间节点之前提交摘要,才被允许在5月23日之前提交完整论文。
不过,摘要和标题提交之后,后续还能修改。如果只是“占坑”提交标题或者摘要,将会被删除。
在论文全文提交截止日期之后,将无法修改论文作者。
此外,提交论文的作者,也需要在会议开始之前,必须提供下面三种材料中的一种:3分钟视频总结、PDF版本的总结PPT、会议PDF海报。(给链接就行)
NeurIPS 2019将在12月8日到14日在加拿大温哥华举行。
官方公告传送门:
https://neurips.cc/Conferences/2019/CallForPapers
关于代码披露倡议细则:
https://docs.google.com/document/d/1SBCfisdLU2A_vb7K7wI8oRBin8ZA4cA1BbasqfQr5m0/edit
研究可复现调查问卷:
https://www.cs.mcgill.ca/~jpineau/ReproducibilityChecklist.pdf
“