Paper with Code发起了第5届机器学习再现性挑战（MLRC）。

这一次不仅支持的会议有所增加，挑战者还能获得500美元的资金支持！

接受挑战的论文，来自NeurIPS、ICML、ICLR、ACL、EMNLP、CVPR和ECCV多个会议，挑战者通过DAGsHub进行复现。

举办方发起此次挑战的目的，是为了鼓励发布和共享可靠和可重复的科学成果。

如何参与呢？一起来看。

流程与要求

挑战者需要从所支持会议的论文列表中获取论文，但是显示“已领取”的论文除外，而且每人最多只能复现2篇论文。

此外，挑战者还需加入Discord社区的#ml-reproducibility频道。

接着就到了复现这一步，挑战者用作者发布的现有代码，或设计一个执行程序，来验证论文的观点和结论。

并且要使用DAGsHub存储来托管数据、模型等，确保所有东西都是开源和可重复的。

然后，将发现和消融研究的内容，总结成DAGsHub页面。其中要涵盖这些内容：

这篇论文是否可复现？

是否发现了任何关键性的见解？

描述数据集（如果适用）：来源、数据类型、分布等。

描述数据处理方法（如果适用）。

描述模型：架构、性能等。

此外，挑战者需确保符合ML可重复性检查表的标准，符合要求的参与者将获得每篇论文500美元的支持。

最后，将结果提交到挑战活动，并作为DAGsHub项目，链接到这个项目的问题上，举办方将对DAGsHub项目进行审查。

作者有可能被选中，在DAGsHub社区和主页上进行介绍，也可能被邀请在专门的活动中分享工作。

网友：可发论文？

这项复现论文的活动在Reddit上引起了网友们的关注。

不少网友表示：想参加！

很想参加。如果复制一篇论文，然后结果在相同的超参数条件下不匹配，会发生什么:D？

一位网友回复说：那你就能发论文了……

我喜欢这个，很想参加。有没有可能计入博士学位的学分呢？

有网友表示，如果大学有这样的课程学分，那将是一个好主意，它可能比ML研究生的许多课程更有用。

不过，对于500美元的资金支持，也有人提出了不同观点。

一篇好的论文，不就是应该提供代码和数据，支持一键重新运行吗？这样（复现）很难成为一个项目。

这些提供高质量代码和数据的论文，难道该激励的不是它们吗？而不是那些承担作者责任的第三方。

不过大部分网友认为这项活动很有意义，其中一些人表示，机器学习领域的确有不少“无用论文”。

总是有论文说“相信我们这是有效的”，我们需要更多的论文来说明它们的失败。

根据我的经验，大多数度量学习深度模型都非常无用。

你怎么看？

时间安排

挑战现已开启，在截止时间（2021年7月15日太平洋夏令时间23:59）之前，挑战者可以随时提交报告。

考虑到编写报告和改进结果需要时间，因此在挑战截止日期后两周内，举办方将接受最终提交。

期刊特刊作者通知的截止日期为2021年9月30日。

想报名的小伙伴要抓紧时间啦~

参考链接：
[1]https://dagshub.com/pages/reproducibility-challenge
[2]https://dagshub.com/DAGsHub-Official/reproducibility-challenge/wiki/ML+Reproducibility+Challenge+Spring+2021
[3]https://paperswithcode.com/rc2020
[4]https://www.reddit.com/r/MachineLearning/comments/np6eph/d_supporting_the_ml_reproducibility_challenge/

“