2019最好的论文已经发表。
去年很多游戏AI都达到了超越人类的水平。人工智能不仅玩过德州扑克、星际争霸、Dota2等复杂游戏，还获得了《自然》《科学》等顶级期刊的认可。
机器之心整理了去年人工智能和量子计算领域最热门的七项研究。让我们按时间顺序来看一下:
第一项重大研究出现在二月份。继发布了刷新了11 NLP任务记录的3亿参数语言模型BERT之后，Google OpenAI在2019年2月再次推出了更强大的模型，这一次模型参数达到了15亿。这是一个大型的无监督语言模型，可以产生连贯的文本段落，并在许多语言建模基准上实现SOTA性能。此外，该模型可以实现初步的阅读理解、机器翻译、问答和自动摘要，无需特定任务的训练。
这个模型名为GPT-2，是一个基于Transformer的大规模语言模型，包含654.38+0.5亿个参数，在800万个网页数据集上进行训练。训练GPT-2有一个简单的目标:给定文本中所有前面的单词，预测下一个单词。GPT-2是GPT模型的直接延伸。它是在超过10次的数据量上训练的，参数量也是10次以上。
GPT-2展示了一系列通用而强大的能力，包括生成目前质量最好的条件合成文本，其中我们可以将输入馈入模型，生成非常长的连贯文本。此外，GPT-2优于其他在特定领域(如维基百科、新闻或书籍)训练的语言模型，不需要使用这些特定领域的训练数据。在知识回答、阅读理解、自动摘要和翻译任务中，GPT-2可以在没有特定任务训练数据的情况下从原文中学习。虽然这些下游任务远未达到当前的最优水平，但GPT-2表明，如果有足够的(未标记的)数据和计算能力，各种下游任务都可以受益于无监督技术。
最后，基于大规模通用语言模型可能产生巨大的社会影响，并考虑到该模型可能被用于恶意目的，在发布GPT-2时，OpenAI采取了以下策略:只发布GPT-2的较小版本和样本代码，不发布数据集、训练代码和GPT-2模型权重。
机器学习峰会最好的论文，总会引起人们的广泛讨论。今年6月在加州举行的ICML 2019(国际机器学习大会)上，由苏黎世联邦理工学院(ETH Zurich)、德国马普(Max Planck)和谷歌大脑(Google Brain)共同撰写的《挑战失望表征的无支持学习中的常见假设》获得了最佳论文之一。在这篇论文中，研究人员提出了一个与之前的学术预测相反的观点:没有监督，任何数据都不可能有独立的表示(解耦表示)。
论文链接:une不符)。
基于这些优缺点，本研究提出了广义自回归预训练模型XLNet。XLNet可以:1)通过最大化所有可能的因式分解顺序的对数似然来学习双向上下文信息；2)用自回归的特性克服BERT的缺点。此外，XLNet还集成了当前最优自回归模型Transformer-XL的思想。
延伸阅读:
2065438+2009年7月，Depo AI Pluribus在无限德州扑克六人对决中成功击败五名专家级人类玩家。Pluribus由脸书和卡耐基梅隆大学(CMU) * *联合开发，实现了前身Libratus(冷扑大师)未能完成的任务。这项研究已经发表在最新一期的《科学》杂志上。
据介绍，由脸书和卡耐基梅隆大学设计的比赛分为1 AI+5人类选手和5 AI+1人类选手两种模式。Pluribus在这两种模式中都取得了胜利。如果一个筹码价值65，438+0美元，Pluribus平均每局可以赢5美元，和5个人类玩家对战一个小时可以赢65，438+0，000美元。职业扑克玩家认为这些结果是决定性的胜利优势。这是AI首次在2人以上(或团队)的大型基准赛中击败顶级职业选手。
在本文中，Pluribus集成了一种新的在线搜索算法，通过搜索前面的步骤而不是仅仅搜索到游戏结束，可以有效地评估其决策。此外，Pluribus还利用了速度更高的新自玩不完美信息博弈算法。总之，这些改进使得用很少的处理能力和内存训练Pluribus成为可能。用于培训的云计算资源总价值不到$ 150。这种效率与最近的其他人工智能里程碑项目形成鲜明对比，这些项目的训练往往需要数百万美元的计算资源。
Pluribus自我博弈的结果叫做蓝图策略。在实际游戏中，Pluribus使用搜索算法来改进这个蓝图策略。但Pluribus不会根据从对手身上观察到的趋势来调整策略。
在人工智能之外的量子计算领域，去年也有重要的研究突破。2065438+2009年9月，谷歌提交了一篇题为“使用可编程超导处理器的量子优势”的论文，该论文从美国国家航空航天局网站上传。研究人员在实验中首次证明了量子计算机相对于传统架构计算机的优越性:在世界首台超级计算机峰会需要计算10000年的实验中，谷歌的量子计算机只用了3分20秒。因此，谷歌声称要实现“量子优势”。后来，该论文出现在《自然》杂志150周年纪念版的封面上。
这一成就源于科学家们的不懈努力。谷歌在量子计算方向的研究已经过去了13年。2006年，谷歌科学家哈特穆特·内文(Hartmut Neven)开始探索通过量子计算加速机器学习的方法。这项工作推动了谷歌AI量子团队的建立。2014年，加州大学圣巴巴拉分校(UCSB)的John Martinis和他的团队加入了谷歌，开始建造量子计算机。两年后，塞尔吉奥·博伊索等人的论文发表，谷歌开始专注于实现量子计算优越性的任务。
今天，该团队已经建立了世界上第一个超过传统超级计算机能力的量子系统，可以执行特定任务的计算。
量子优势实验在一个名为Sycamore的54量子位完全可编程处理器上运行。该处理器包含一个二维网格，网格中的每个量子位都与其他四个量子位相连。量子优势实验的成功归功于谷歌改进了并行性增强的双量子位门，即使同时操作多个门，也能可靠地实现记录性能。谷歌使用了一种新的控制旋钮来实现这种性能，它可以关闭相邻量子位之间的相互作用。这大大减少了这种多连接量子位系统中的误差。此外，谷歌还通过优化芯片设计以减少串扰和开发新的控制校准以避免量子位缺陷，进一步提高了性能。
虽然AI没有打败人类最强选手Serral，但它的研究论文还是在《自然》上。2019，10年末，DeepMind关于AlphaStar的论文发表在了本期《自然》杂志上，这是人工智能算法AlphaStar的最新研究进展，显示AI在没有任何游戏限制的情况下，对抗天梯已经达到星际争霸2的顶级水平，在Battle.net的排名已经超过了99.8%的活跃玩家。
回顾AlphaStar的发展历程，DeepMind在2017年宣布开始研究人工智能——alpha star，可以玩即时战略游戏《星际争霸2》。2018 12 10，AlphaStar击败Dani Yogatama，DeepMind最强玩家。65438+2月65438+2月02日，AlphaStar已经可以5:0击败职业选手TLO(TLO是虫族选手，据游戏评论员介绍，其在游戏中的表现可以在5000分左右)；又过了一周，16，5438+09年2月9日，AlphaStar也以5:0的比分战胜了职业选手MaNa。至此，AlphaStar又向前迈进了一步，达到了主流电竞游戏的顶级水平。
根据《自然》杂志上的描述，DeepMind使用通用的机器学习技术(包括神经网络、带强化学习的自我游戏、多智能体学习和模仿学习)直接从游戏数据中学习。AlphaStar的游戏性令人印象深刻——这个系统非常善于评估自己的战略地位，并且准确地知道何时接近对手，何时远离对手。此外，论文的中心思想是将游戏环境中虚构的自我游戏扩展到一组代理人，即“联盟”。
联盟概念的核心思想是，仅仅赢是不够的。相反，实验需要主代理打赢所有玩家，“剥削者”代理的主要目的是帮助核心代理暴露问题，变得更强大。这并不要求这些代理商提高胜率。通过使用这种训练方式，整个代理联盟在一个端到端、全自动化的系统中学会了星际争霸2中所有复杂的策略。
2019，AI领域各个方向都有很多技术突破。在新的一年里，我们期待更多的进步。
此外，机器之心在2019年9月底推出了自己的新产品SOTA模型。读者可以根据自己的需求找到机器学习相应领域和任务的SOTA论文，平台会提供论文、模型、数据集、基准等相关信息。