EN / 中国科学院 / 局内平台 /
中国科学院国际合作局
  • 局内平台
  • /
  • 中国科学院
  • /
  • EN
中国科学院国际合作局
  • 首 页
  • |
  • 组织机构
    • 部门职责
    • 现任领导
    • 机构设置
  • |
  • 工作动态
  • |
  • 政策法规
  • |
  • 创新文化
  • |
  • 工作指南
    • 护照签证
    • 领事服务
    • 外国人来华
  • |
  • Working with CAS
    • CAS NEWSLETTER
    • SCIENCE STORY
    • PROJECT INFORMATION
    • WATCH THIS
    当前位置:首页 >> 国际交流动态

谷歌大脑Jakob Uszkoreit访问自动化所

来源:自动化研究所   时间:2018年02月12日   

  2月12日,谷歌大脑Jakob Uszkoreit到访中国科学院自动化研究所,并作题为Learning Representations With (Self-)Attention的主题学术报告。

  Jakob Uszkoreit围绕自注意力机制在表征学习中的应用这一主题,简单叙述了在序列学习中循环神经网络并行计算、长距离依赖等缺陷,针对这些缺陷,基于自注意力机制的序列学习应运而生。Jakob Uszkoreit对自注意力机制也进行详细的介绍,并与循环神经网络和卷积神经网络的训练复杂度进行了对比,展现了自注意力机制的优越性。报告对Google Brain团队开发的学习框架Transformer向听众进行了详尽的解释,并将模型训练的细节进行了细致入微的解读。该模型在机器翻译任务上取得了当前最好的效果,在英德翻译任务上高出了之前最好的集成模型2个点以上。Jakob表示,基于自注意力机制的Transformer框架还可以应用到文本生成,图片生成等一些任务中,Google Brain团队对于这些任务也进行了相关的对比实验,取得了相当好的效果。最后,报告对下一步的工作进行归纳,主要包括并行解码和不同分辨率的解析问题。

  报告加深了大家对自注意力机制概念的理解,对于后续在表征学习中继续开展研究工作提供借鉴和启发。此后,大家就知识融合技术,词向量选择以及Google Brain团队的沟通协作问题与Jakob Uszkoreit进行了充分的交流。

附件:

地 址:北京市三里河路52号
邮 编:100864

  • © 1996 - 中国科学院 版权所有 京ICP备05002857号-1 网站标识码bm48000032 京公网安备110402500047号

地 址:北京市三里河路52号  邮 编:100864  
© 1996 - 中国科学院 版权所有京ICP备05002857号-1 京公网安备110402500047号 网站标识码bm48000032