给CVPR颁“金酸莓奖”,知乎网友热议最差论文,战火烧到Reddit

AI资讯1年前 (2023)发布 AI工具箱
305 0 0

今年CVPR共有1200多篇论文被接收,官方评出了最佳论文,民间则评出了最差论文。

2019年CVPR有哪些糟糕的论文?

这个问题不仅在知乎上火了,甚至被出口到了国外论坛ML板块。

顶会也有水论文?答案是Yes。不仅有水的,甚至有水得很夸张的。

号称进步巨大,实则不work;被NIPS、AAAI和ICLR一直拒的论文中了Oral;化身剪刀手拼接已发表过的文章……这也就不说什么了,但抄袭已发表论文的Idea,做低baseline这也过分了吧?

而这个问题也引发了对学术圈学术氛围的质疑,“打招呼”让双盲同行评审成了空谈?追求短期反馈疯狂水论文成常态?

水论文这件事,实在引人深思。

最差论文提名

最差论文没有统一的标准,自然也就很难达成一致,知乎网友分别从6个不同角度提出了质疑。

下面开始知乎网友自发组织的worst paper“颁奖典礼”。

质疑1:号称进步巨大,效果平平无奇。

首先是位置最高的回答,答案提供者是一名算法工程师。

他自己也在这个领域研究类似的问题,也做出了一些小修小补,但觉得意义不大,所以就没发论文。

但是有人把结果发到了CVPR上,而且这篇研究人脸识别的论文还号称进步巨大,但实际效果如何呢?请数据说话:

前人的ArcFace已经得到了验证,而后人在此基础上的修补证明了提升效果并不明显。“真的、真的不work!”

但是他还是给了一些正面评价:

不过还是要表扬一下第二篇论文,里面还提出了一个Noise Resistance Softmax loss,这个损失的形式很复杂,但思想值得一看,应该能改进出一个更简单的形式。

原回答链接:

https://www.zhihu.com/question/327139341/answer/712075929

质疑2:和前年论文高度相似,审稿人怎么了?

直接把别人的成果算成是自己的,连摘要都高度相似。

这是CVPR 2019文章的摘要:

这是ICCV 2017文章的摘要:

匿名网友向作者提出疑问三连:

虽然这篇文章是不点名批评,但是稍微搜索一下还是能知道作者是谁的,算是给别人留了点面子。

质疑3:超不过对手,那就拉低对手。

自己论文效果不好怎么办,调低baseline啊!

比如这篇文章里Mask R-CNN的baseline分数只有不到70分,而另一篇文章在同样的两个数据集上做出的baseline分数超过了80分。

等于作者将baseline整整做低了十几分,终于让自己的结果“超越”了Mask R-CNN。

答案提供者也忍不住吐槽:

现在发文章不容易啊,不仅自己的实验结果需要造假,还要把那么经典的方法踩一踩,敢问作者你的良心不会痛吗??

质疑4:被其他顶会一直拒的论文中了Oral?

有知乎网友表示,会议培养新人也没什么,但被NIPS,AAAI,ICLR这些顶会一直拒的论文一下中了CVPR Oral也太玄学了吧?这也太浪费读者时间了。

这位网友举了伯克利的这篇 《Accel: A Corrective Fusion Network for Efficient Semantic Segmentation on Video》为例子。这是一篇有关语义分割的论文,但作者显然是该领域的新手小白。

看这个baseline,未免有点低吧?

再看文章的第八页,结合文章的内容,不禁让人怀疑这是在填位置……

方法本身也没有什么创新性,中个Workshop也就算了,作为一篇Oral实在令人很失望……

还有网友补充,这篇论文的某个strong accept的意见里weakness部分只写了一个句号……emmm……审稿人真的有在好好看文章吗?

质疑5:发过的论文拼一拼,就又能中顶会啦?

听说拼一拼别人的好音乐,就能成为火遍全网的“原创音乐人”。那么在学术界,剪刀手也一样有春天?

知乎网友很气愤:拼凑的论文比灌水更恶劣,水论文还能提供一点新知识呢。

被指控的论文是这一篇:《Self-Supervised Representation Learning by Rotation Feature Decoupling》。

网友指出,这就是把ICLR18的《UNSUPERVISED REPRESENTATION LEARNING BY PREDICTING IMAGE ROTATIONS》和CVRP18的《UNSUPERVISED REPRESENTATION LEARNING BY PREDICTING IMAGE ROTATIONS》这两篇论文里提出来的自监督学习方法拼了一下,水成这样真的大丈夫?

↓↓↓

ICLR18这篇旋转预测方法的核心是,将图像旋转90度的随机倍数,如果AI不知道图像中描绘的对象的概念,就无法识别旋转后的图像。

↓↓↓

CVPR18这篇实例判别将图像编码为特征向量,投影到了128维空间并进行L2归一化处理。

↓↓↓

至于这篇论文,emmm……只看图,不想说话……

质疑6:“打招呼”让双盲审查成空谈。

还有网友提出了更严重的指控,论文作者给评审“打招呼”了!

CVPR采用的是双盲审查,但事实上审稿人完全可以通过arXiv找到作者。有知乎匿名网友和reddit网友表示“招呼”打到了自己头上,双盲审查真的成了空谈?

这就已经涉及学术道德了啊。

问题出在哪

首先,写论文的人出现了问题。

现在国内的高校太过于强调论文数量、影响因子,舍本逐末,“完全背离了科研工作的本意”。

教授有来自学校考评的压力、研究生有毕业的压力,“追求短期反馈绝对是违背科研规律的”。

其次,论文有问题,审稿人却不能发现,有失察之过。

1、论文不开放代码,同行无法复现。

还记得韩春雨事件吗?无论是物理、化学还是生物领域,论文中的实验条件都应该交代清楚,让别人检验你的结果能否复现。如果不能复现就说明文章是存在一些问题的。

但是在计算机领域,还缺乏这种机制。AI界知名女学者Anima Anandkumar曾建议,投往学术会议的论文需要强制要求提供代码,供其他同行复现结果。她的倡议正在被越来越多的同行接受。

2、论文数量逐年增长,审稿人严重不足。

CVPR投稿数量激增,今年就有5000多篇,比去年增加50%以上。

审稿人中有经验有能力的人手严重不足,但是每个人的工作量就那么多,不可能超负荷运作,只能去找一些水平不那么高的审稿人了。

3、审稿的双盲制度正在被破坏。

一方面,审稿人可以通过其他渠道提前知道作者的身份,因为在开放平台Arxiv上提交论文已经是一种常态。

另一方面,作者可以有途径得知审稿人身份,甚至“打招呼”让论文通过审核。比如前一段时间自杀博士Chen Huixiang就说自己的导师认识多个审稿人,才让自己漏洞百出的论文能够中顶会。

不同的声音

顶会灌水令人不爽,这也是关于糟糕论文的问题会引起热议的原因。但在大量的吐槽之中,也有这样的声音:要喷应该喷灌水的风气,而不是喷paper本身。

南大的周志华教授就曾经表示:论文的价值就是那点新花火,有毛病没关系。

MXNet创始人李沐也指出:学术会议除了交流学术成果外,还有一个重要功能是培养新人。对于看上去像灌水的“小白文”不必太苛刻。

CUHK助理教授周博磊则提出了这样的建议:读别人文章时放平心态,与其纠结为什么这么水的论文也能中,不如多去发现别人论文里的闪光点。

好论文应该是什么样

大家都希望读到好的论文,而科研人员们也不愿看到自己认认真真做出的论文跟水货们为伍,那么到底什么样的论文才能算是好论文呢?

知乎有一个600+赞的回答说的很好,还被国外网友转到了Reddit上:

提出新思想新方法,沉淀下来找好问题做好问题,不要一味地追求短期反馈。这样的科研工作会更有意义,优秀的工作何愁好论文?

君不见有人埋头研究线虫8年,才终于发表了第一篇一作文章,这一发就是Nature封面。

知乎原文链接:

https://www.zhihu.com/question/327139341

© 版权声明

相关文章

暂无评论

暂无评论...