别再SOTA了，那叫“微调”！Science发文炮轰论文灌水

AI算法的发展，真有那么迅猛吗？

为了一探究竟，来自MIT的研究人员，便对81种AI算法做了横测，结果令人大跌眼镜：

没有明确证据表明，这些算法在10年内，对任务效果有明显改善。

针对类似的问题，Science最近也发文表示：

人工智能在某些领域的进步引人注目，但这并不是真正的进步。

那么，这到底是怎么一回事？

“是微调，不是核心创新”

MIT研究人员横测的对象，是81种剪枝算法。

这类算法简单来说，就是对神经网络的连接做“修修剪剪”，以此来提高效率。

然而，这种算法的发展现状，正如Science发文作者Matthew Hutson所说：

很多科研工作者就在此之上，做了些许“微调”，然后就宣称自己的算法具有优势。

因此，MIT的研究人员便对这些算法做了元分析，还提出了一种框架——ShrinkBench，用来促进剪枝算法的标准化评估。

真正的好算法，需要经得起考验，那么结果又如何呢？

研究人员基于ImageNet，绘制了剪枝后模型的准确率和压缩/加速水平，以及没有做过剪枝、不同架构的相同指标，结果如下图所示。

不难看出，一个给定架构经过剪枝后，可以改善其时间/空间与精度之间的权衡，有时候还可以提高精度。

但剪枝的效果，通常不如换个架构效果来得好。

这一维度的考虑，是因为研究人员发现，许多工作都高举“SOTA”旗帜，然而比较的对象却不全。

很明显的现象就是，缺少与2010年之前提出的算法的比较，甚至都没有跟其它号称SOTA的算法做对比，如下图所示。

在81篇论文中，ImageNet和VGG-16的组合最为常见，并且，在前六种最常见的组合中，有三种涉及MNIST。

但MNIST与其它主流图像分类数据集有很大的区别：它的图像是灰度的，大部分是由0组成，用简单的模型进行分类，准确率就可以达到99%以上。

还有五花八门的度量指标，啥也不说了，直接上图。

当然，还有诸如数据预处理、调参策略等一系列问题，都会导致结果的不同。

研究一作Davis Blalock表示：

这些改进都是所谓的“微调”，而不是科研人员声称的“核心创新”，甚至有些改进方法可能根本就不存在。

于是乎，MIT的研究人员便开发了一套方便开发、标准化评价神经网络的剪枝方法。

ShrinkBench提供了标准化和可扩展的功能，可以用于训练、剪枝、微调、计算度量和绘图，而且都是使用标准化的预训练模型和数据集。

正如另一位作者John Guttag所说：

如果你不能衡量某种东西，就很难让它往好的方向发展。

好了，现在要是再想在剪枝算法上，稍微搞个小进展就水一篇论文，可能不再那么容易了。

最近，Science也针对“水论文”一事发表文章，认为人工智能领域中的许多分支，其发展都是不稳定的：

2019年，对搜索引擎中使用的信息检索算法进行的一项元分析，得出了一个“高水位线”(high-water mark)，然而，它早在2009年就有了；
同样是2019年，另外一项研究复现了7个神经网络推荐系统，结果，其中6个系统的表现，还没有多年前开发的更简单的非神经网络算法好；
今年2月，卡内基梅隆大学的计算机科学家Zico Kolter在arXiv发表论文，他发现早期的对抗训练方法PGD，只需要用简单的小技巧增强一下，就能达到目前所谓更新、更复杂方法的效果；
今年3月，康奈尔大学的计算机科学家Kevin Musgrave，在arXiv上发表了一篇论文研究了损失函数，在一项涉及图像检索的任务中，他对其中十几个算法进行了平等的比较，结果发现，与这些科研工作者的说辞恰巧相反，自2006年以来，准确率就没有提高过。

正如Musgrave表示：