这世界变化快。
去年10月，Google团队发布BERT模型横扫一切，在11种不同NLP测试中创出最佳成绩。现在，轮到BERT被碾压了。
CMU和Google Brain团队最新发布的XLNet，在20项任务上超过了BERT的表现，包括SQuAD、GLUE、RACE等等。
这个消息一出，业界又轰动了。
目前这个模型的的论文、代码和预训练模型都已经放出。
XLNet的共同一作，是本科都毕业于清华的Zhilin Yang（杨植麟）和Zihang Dai，目前两人都在CMU读博。
为什么XLNet能够横扫BERT？
作者在这篇论文中表示，BERT在训练时需要mask一些输入，忽略了被遮蔽位置之间的依赖关系，因此产生预训练-微调差异。
而这次提出的XLNet，是一种泛化的自回归预训练模型。一方面，XLNet通过通过最大化所有可能因式分解顺序的对数似然，学习双向上下文；另一方面，利用自回归来客服BERT的缺点。此外，XLNet还在预训练中借鉴了最先进自回归模型Transformer-XL的想法。
最终的测试表明，XLNet在20个任务上的表现优于BERT，而且通常是大幅提升；在18个任务上，获得了最高水平的结果，包括机器问答、自然语言推理、情感分析和文档排序等。
一大批用户在推特上表示了震惊。
“我还以为NLP已经被BERT和ULMFiT解决了”，一位用户发了个哭脸评论道。
这篇论文的作者大牛云集，除了开头提到的两位共同一作，还包括CMU教授Yiming Yang、Jaime Carbonell和Ruslan Salakhutdinov，以及来自Google Brain团队的大牛Quoc V. Le。
最后送上传送门。
论文地址在此：
https://arxiv.org/abs/1906.08237
GitHub地址在此：
https://github.com/zihangdai/xlnet
“
