AI成精，“逼疯”程序员；AI做高数，成绩超过博士；AI写代码，成功调教智能体……
看多了这种故事，你是不是也觉得，AI太卷了，要上天了。
今天回归本源，讲点不那么玄幻的。AI为什么会进化？底层其实没有秘密，无非是语言、视觉等几大基本功。
其中，语言能力对AI的智能水平有决定性影响。视觉研究怎么“看”，语言研究“听”、“说”和“理解”。
对人类来说，“听”、“说”、“理解”相加，基本等于思维能力，对AI，道理也差不多。
最近，咨询机构Gartner发布《云AI开发者服务关键能力报告》，对全球云服务商的AI能力做了排行。
语言AI这一项，第一名毫不意外是谷歌。
第二名比较惊喜，是阿里巴巴。这是榜单发布以来，中国公司在该领域第一次进入全球前三。
全球前十中，中国的BAT占了三席，成绩可谓是瞩目。
语言AI，包含语音、语义两个大类。
语音负责让机器学会“听”和“说”；语义，也就是自然语言处理（NLP），负责让机器学会“理解”。
先来看看Gartner报告对语音语义的评判标准：
Gartner将每种功能的程度分为5个等级，分别对应1-5分，分数越高则表明实力越强。
阿里云上的AI能力，主要包括：
阿里在语音识别、自然语言生成/语音合成、语言理解/处理、文本分析这几项关键能力都获得了最高分。
报告对每个细分项赋予权重，结合单项得分和项目权重计算总分，最终谷歌的语言AI以3.55的总分排名第一；阿里得分3.48，排名第二。
但除此之外更为细节的能力，Gartner的报告并未详细描述。
还是跟着Gartner报告，把“语言AI”一拆为二，看看什么是语音，什么是语义。
首先是语音层面的AI技术。
语音的应用，我们并不陌生，苹果Siri、微软小冰等AI助手，都是通过赋予机器语音能力，从而与人类产生交互。
每一个语音产品，背后都有一套语音技术软硬件作支撑。
阿里云所依托的，是达摩院在语音AI领域的深厚积累。
达摩院在语音AI领域最早以语音识别技术起家，技术能力涵盖语音识别声学模型和基础框架、说话人区分、语音合成声学模型和声码器、口语语言处理、联合优化的声学前端等。
2019年，阿里语音AI曾被MIT评选为当年度的“十大突破技术”，这背后的技术能力，就来自于达摩院。
以Gartner报告评估过的Speech to text、也就是我们常说的“语音识别”技术为例。
达摩院的语音AI，在常规的近场语音识别、远场语音场景、多人交谈“鸡尾酒会场景”语音识别技能之外，还有一些别致的长尾技能，比如“中英自由说”、“方言自由说”。
举个栗子，中英文混说——“借你的iPad给我看下paper”，这句话机器如何理解呢？
业界通行的端到端语音识别 (End-to-End ASR) 技术，在单语种任务上效果很好，但一切换到多语种混说 （Code-Switch）场景下，还是不太理想。
针对这类问题问题，达摩院语音实验室借鉴混合专家系统（Mixture of Experts）的思想。
在端到端语音识别模型中，对中文和英文分别设计了一个子网络，最后通过门控模块对每个子网络的输出进行加权。
为了减少模型参数量，中、英文子网络采用底层共享，高层独立的方式。最终使模型在中文、英文、中英文混说场景下都能取得比较好的效果。
在此基础上，达摩院融合了其自研的端到端语音识别技术SAN-M网络结构，打造出新一代的端到端中英自由说语音识别系统。
最后的效果就是：阿里的语音AI能在没有语种信息的前提下，大幅提升中英文混说场景下的识别性能。
借鉴这套模型搭建思路，达摩院又解锁了“方言自由说”技能，打造了一套端到端方言自由说语音识别系统。
在不需要提供方言id的情况下，用一个模型就能识别14种常用方言，并且保证纯中文相对于单语模型的识别性能基本不降。
达摩院的AI技术主要通过阿里云对外提供服务，以“被集成”方式，广泛应用于运营商、电商、物流、电力等多个行业。
除了语音AI技术之外，阿里在语义层面同样形成了一套强大的技术体系。
语言本身就是“音”和“义”的结合体——“听到”诚可贵，“听懂”价更高。
人类语言并不难，几岁孩童便可轻松掌握一门语言。但计算机有自己的编程语言，要它理解人类语言难如登天。
NLP技术的进化，是AI从感知智能向认知智能演进的前提。而在过去十几年内，NLP技术进化最具标志性的事件，就是大规模预训练语言模型的出现。
阿里达摩院是业界最早开展大模型探索的团队之一，2019年就开始研发大规模预训练语言模型体系AliceMind，并以此作为技术底座，开展对内对外的技术服务。
“前大模型时代”，NLP技术解决问题的方法，是为每个任务单独设计模型。模型开发往往很复杂，缺乏算力、数据、技术力量的中小团队往往难以负担。
预训练语言模型出现后，AI的整体智能比过去大幅提升，NLP技术的赋能方式也逐渐变成“预训练+微调”范式。
也就是以通用的预训练模型为基础，加入简单的任务层、结合少量场景语料，以较低成本训练出优质的任务模型。
达摩院的阿里的大规模预训练语言模型体系，拥有阅读、写作、翻译、问答、搜索、摘要生成、对话等多种能力。
大模型通常并不直接用于解决应用问题，而是通过与具体任务、应用场景的结合，逐层孵化“中模型”、“小模型”。
在大模型体系基础上，达摩院语言技术实验室先后孵化了一系列“中模型”，包括：
- 通用预训练模型StructBERT
- 生成式预训练模型PALM
- 多语言预训练模型VECO
- 超大中文预训练模型PLUG
- 多模态预训练模型mPLUG
- 结构化预训练模型StructuralLM
- 预训练对话模型SPACE
- 表格预训练模型STAR等
这些模型各有专长，StructBERT、mPLUG和StructuralLM具备挖掘文本、图像、表格“结构”信息的能力，单语言生成模型PALM、多语言生成模型VECO、超大中文预训练模型PLUG都为语言生成任务（NLG）而生。
例如StructBERT，是达摩院在谷歌BERT模型基础之上所提出的优化模型，它可以让机器更好地掌握人类的语法、理解自然的语言。
StructBERT一经推出，便在当时GLUE基准上取得了SOTA（89.0分），并且还将SQuAD v1.1问题回答上的F1得分推至93.0的新高度。
再如多语言预训练模型VECO，曾拿下国际权威多语言榜单XTREME排名第一，成绩远超Meta和微软等国际巨头的模型。
多模态预训练模型mPLUG在视觉问答（VQA）任务上首次超过人类结果。对话预训练模型SPACE在10多个对话国际榜单和数据集上取得SOTA。
基于AliceMind技术，达摩院先后斩获了35个冠军，在某些领域的水平已经非常接近人类对语言理解的程度了。并且，该技术已面向全球开发者开源。
众所周知，大规模预训练模型开发成本极高，玩家通常集中于头部科技企业，但新的模型赋能范式，使得更多中小团队、个人开发者也能分享大模型的红利。
……
据了解，目前阿里达摩院语音语义领域的研究已有300百多篇论文被国际顶会收录，相关研究已应用于医疗、电力、电商等领域。
此前，IDC发布《2021H2中国AI云服务市场研究报告》中，阿里在语音和语义市场上的份额便取得了第一的成绩。
在人工智能发展长河中，语音语义是最早起步的技术之一，也是人工智能的基石。
语音技术最早可以追溯到1952年，贝尔实验室的Davis等人研制出了世界上第一个能识别10个英文数字发音的实验系统Audry，从此拉开了语音识别发展的序幕。
语义技术更是可以追溯到1947年，当时英美科学家联手提出了利用计算机进行语言自动翻译的设想，机器翻译的诞生也正意味着打开了语义发展的大门。
于是，让机器“听到”、“听懂”人类语言这件事，便在那段时间起，成为了学界和产业界争相发展的技术高地。
各界的纷纷投入，也让工业界诞生了众多“史诗级”的产品，例如苹果在2011年发布的Siri，以及后来亚马逊、谷歌、微软等推出的Alexa、Google Assistant、Cortana等。
另一方面，这背后的技术也产生了革命性的迭代变迁，例如近几年Transformer、Bert等技术的爆发，极大地推动了语音语义技术的发展。
在这种大趋势的背后，更重要的意义在于语音语义已然是普通人“唾手可用”的技术。
以阿里为例，达摩院的机器翻译技术每天为国内200万中小商家翻译上亿文字 ，让不懂英语和小语种的商家也能把国货卖到全世界。
这样的技术还已应用到了“买票”场景。
去年年中，北京首都机场和大兴机场均开通了语音购票的服务，只需要乘客张张嘴说出目的地，便可以在1.6秒内快速完成选站。
事实上，未来任何硬件终端都可以集成语言AI技术，这样的应用空间是巨大的，这也正是国内外学者、科技巨头纷纷发力于此的原因。
就像中国计算机学会副理事长、澜舟科技创始人兼CEO周明所评价的那般：
也正如Gartner在此次报告中所述：
但纵观语音语义的发展，有一点是始终未曾变化的，那就是它的理想目标——和机器对话，像在跟人类交流。
前不久谷歌研究员爆料“AI具备人格”的事件在科技圈引发了热议，虽然后来谷歌对其已经进行了辟谣，但其背后无法掩盖的事实是AI正在逐渐向人类逼近。
那么在未来，语音语义技术又将如何颠覆人们的生活，是值得期待了。
“
