AI之父JürgenSchmidhuber眼中的深度学习十年，以及下一个十年展望

2020年是充满著科幻的一年，曾多次我们飨宴飞行中汽车、智能洗碗机器人以及能自动写出代码的程序，然而这一切都没再次发生。2020庆贺我们的是澳洲大火、新冠病毒和漫天的蝗虫。回忆起过去的十年，我们也许实在没什么科技的发展可以算是是进步，然而事实毕竟，一切都逆了，深度自学算法的变革和影响就是大叫最显著的标志。AI之父JürgenSchmidhuber在自己的Medium专栏公布了一篇文章，总结了深度自学的十年发展历程，走想到，才找到我们显然亲眼了历史。

自然语言处置尽管不像深度自学中的其他领域那么矮小上，但可以说道NLP算法是迄今为止最简单、最顺利的算法。这种顺利可以归咎于，与图像和视频比起，在文本语料库上展开训练比较较为更容易。在过去的十年中，NLP不仅获得了巨大进步，而且还顺利地沦为了各种商业应用于中的最重要组成部分。

正如你将在下文中注意到的那样，Google的研究人员在提高NLP算法方面充分发挥了最重要的起到，不过实话说道，完全所有全球研究实验室都为这一领域的发展作出了贡献。图片：Ontotext01词映射在技术上也称作产于语义模型，如今，完全所有NLP算法中都有用于词映射。

Bengio等人早在2003年就明确提出将词映射为向量这一方法。它依然十分花费计算资源，并且必须更加有效地的算法来构建。

2013年，Google明确提出了“倒数词袋模型”（ContinuousBag－of－WordsModel，CBOW）和“倒数Skpi－gram”模型，并用于word2vec以计算出来并构建开源，使得词映射技术获得广泛应用。在2015年，斯坦福大学的研究人员讲解了GloVe模型，该模型对词映射算法展开了更进一步改良。图片：SebastianRuder02LSTM算法图片：ChristopherOlah虽然LSTM最初是由Hochreiter和Schmidhuber早在1997年明确提出的，但在这过去的十年中，它们才确实地受到注目。

尽管许多较新的算法在性能上比LSTM展现出更佳，但它们在一些商业上顺利的翻译成软件（例如GoogleTranslate）和Apple的Siri中依然充分发挥着最重要起到。ChoKyunghyunCho等研究人员通过明确提出门控循环单元（GRU），为LSTM体系结构获取了更进一步的改良。GRU大自然不会引领我们展开下一个创意……03Seq2Seq模型来自Google的Sutskever等人在2014年发售了现在风行的Seq2Seq模型。

在先前RNN、LSTM和GRU涉及工作的基础上，这种映射解码技术为GoogleTranslate和许多其他NLP任务赋能。在更容易构建的同时，这一技术甚至可以用来创立聊天机器人。04TransformersGoogleBrain那篇“你只必须注意力就不够了”（AttentionisAllYouNeed）论文可是引发了一场震撼。通过将焦点仅有集中于在数据的最重要组成部分上，这样的注意力可以获取比LSTM更加杰出的展现出，并且所需的计算出来量也更加小。

05BERT图片：YNGMedia在十年完结之前，谷歌再度在NLP方面获得了突破：BERT模型。它是一种可同时从左向右以及从右向左考虑到文本的语言回应模型。

虽然可以说道谷歌研究人员的确有助力于公司平台无与伦比的处置能力而在多项NLP任务中超过了最先进设备的水平，模型本身也知道是非常灵活多变。经过实训练的BERT模型可以通过非常简单加到额外的输入层来适应环境完全任何任务。

06语音助手图片：BusinessInsider／YuHan2011年10月公布的iPhone4S是第一款构建Siri的苹果产品。这在智能手机领域是革命性的，因为这是首次向大众商业市场获取与未来人工智能密切相关的技术。

目前市场上充满著了语音助手，它们在诸如语音辨识、语音并转文本、文本翻译成等一系列任务上的展现出都十分出众。想告诉这一技术有多么广泛的话，你可以随意步入任何一家略为与科技互通的家庭，喊出出有“Alexa！”——您很可能会听见熟知的声音恢复呢。计算机视觉图片：IlijaMihajlovic人工智能是人工智能领域中最令人兴奋和研究最少的领域之一。

从演化型自动驾驶汽车到已沦为智能手机少见功能的人脸识别，计算机视觉无处不在。尽管这十年来主要是研究实验室期望挑战计算机视觉任务的近期结果，我们依然相当严重依赖数据数量和机器处置能力。01CNN图片：Google福岛在1980年明确提出了第一个深度神经网络，随后是YannLeCun发明者的我们今天熟知的卷积神经网络（LeNet）。

但是，尽管CNN已经常出现了很多年，它们或许意味着在最近十年中才转入主流视野。现在是计算机视觉任务的标准化基准的ImageNet于2010年才开始年度竞赛。

本文来源：皇冠游戏中心官网-www.sriingenieria.com