2020年热门纸质新闻
三年来,达摩院在人工智能的学术研究和应用方面齐头并进。无论是在国际学术峰会和各类大赛上,还是在推动学术成果商业化方面,都交出了亮眼的成绩单,进而吸引了人工智能领域的顶尖科研人员聚集于此。
对于这些顶尖科研人员目前正在进行的研究工作,我想大家都充满了好奇!
7月9日(晚)19:30-21:00,《AI科技评论》将联合阿里达摩院,加上阿里集团在学术研究上同样“坚定”的存在阿里安全,呈现一场“ACL 2020系列论文解读暨阿里巴巴专场”直播!
届时,来自阿里达摩院机器智能技术团队和阿里安全智能团队的六位资深算法专家、算法工程师和研究实习生,将聚焦多任务学习、少样本文本分类、基于任务的对话、神经机器翻译、知识提炼、跨领域分词和标注等NLP细分领域,为大家带来一场论文解读盛宴!
这次分享的嘉宾是谁?下面一一揭晓:* * * *分享主题:SpanMlt:基于span的属性词和观点词成对提取的多任务学习框架* * * *分享嘉宾:黄。
共享内容:
属性词和观点词的提取是细粒度基于属性的情感分析(ABSA)中的两个关键问题。方面-意见对可以为消费者和意见挖掘系统提供相关产品或服务的全局配置文件。然而,在没有给定属性词和视点词的情况下,传统方法无法直接输出属性-视点词对。虽然研究人员最近提出了一些* * *抽取方法来联合抽取属性词和观点词,但他们不能成对地抽取两者。因此,本文提出了一种端到端的方法来解决属性词和观点词的成对抽取。此外,本文从联合词和关系提取的角度处理这个问题,而不是在大多数先前工作中实现的序列标记方法。我们提出了一个基于* * *共享跨度的多任务学习框架,在跨度边界的监督下提取单词。同时,使用跨度表示来共同识别配对关系。大量实验表明,我们的模型总是优于SOTA方法。
共享内容:
现有的工作往往采用元学习的方法,通过一系列元任务之间的切换来获得少样本学习的能力,但是任务之间的切换会带来遗忘的问题,所以我们考虑使用记忆机制来辅助元学习的训练。在本工作中,我们将监督学习得到的分类参数作为元学习的全局记忆,提出了一种动态记忆路由算法,将全局记忆信息融入到基于动态路由的元任务的训练和预测阶段。此外,动态记忆路由算法还可以利用查询信息增强归纳类别表示的能力,对于口语场景中的语言多样性表达具有更好的泛化性能。在小样本的中英文场景分类任务数据集上得到了STOA结果。
分享主题:多域对话动作与响应共同生成* * * *分享嘉宾:田俊峰。
共享内容:
在以任务为基础的对话中,给出一个流畅且信息丰富的回答是非常重要的。现有的管道方法通常首先预测多个对话动作,然后使用它们的全局表示来辅助回复生成。这种方法有两个缺陷:一是在预测对话动作时忽略了多域的内在结构;其次,生成回复时没有考虑对话动作和回复之间的语义联系。为了解决这些问题,我们提出了一个可以同时生成对话动作和响应的神经联合生成模型。不同于以往的方法,我们的对话动作生成模块可以保持多域对话动作的层次结构,我们的回复生成模块可以动态关注相关的对话动作。在训练中,我们使用不确定性损失函数自适应地调整两个任务的权重。在大规模MultiWOZ数据集上的实验结果表明,该模型在自动评价和人工评价上都优于SOTA模型。* * * *分享主题:神经机器翻译的多尺度协同深度模型* * * * *分享嘉宾:魏··* *
近年来,神经机器翻译(NMT)方法以其优异的翻译性能在大量应用场景中取代了统计机器翻译方法。目前,制约NMT模型性能的因素主要包括模型的特征表达能力和数据规模。因此,我们提出了一种基于多尺度协作(MSC)机制的深度神经机器翻译模型,以提高模型对低级(具象)和高级(抽象)特征的建模能力。
实验表明,( 1)多尺度协作机制有助于构建深度NMT模型并提高其性能。(2)基于MSC机制的深度NMT模型能够更好地翻译语义结构复杂的自然语言句子。
* * * *分享主题:多语种序列标注的结构级知识提炼* * * * *分享嘉宾:王新宇* *
多语言序列标签是一项使用单一统一模型预测多语言标签序列的任务。与依赖多个单语模型相比,使用多语言模型具有模型规模小、易于在线服务和对低资源语言具有通用性的优点。但是由于模型容量的限制,目前的多语言模型仍然远远低于单一的单语模型。本文提出将多个教师的结构化知识提取到一个统一的多语学生中,从而缩小单语模型与统一多语模型之间的差距。我们提出了两种基于结构层次信息的知识挖掘方法:
* * * *分享主题:跨领域中文分词的远程标注与对抗耦合训练* * * * *分享嘉宾:丁宁* *
全监督神经方法在中文分词任务中取得了很大进展。但是,如果域迁移是由域之间的分布差异和OOV(out-of-set words)问题引起的,那么监督模型的性能就大大降低了。为了实时缓解这一问题,本文直观地将跨领域中文分词的远程标注与对抗性训练结合起来。
7月9日,来自阿里的六位分享嘉宾将与你同在!
ACL 2020原定于2020年7月5日至10在美国华盛顿州西雅图举行,但因新冠肺炎疫情而改为线上会议。为促进学术交流,方便国内师生提前了解自然语言处理(NLP)前沿研究,《AI科技评论》将推出“ACL Lab系列论文解读”内容,欢迎更多实验室参与分享,敬请关注!