爱吧机器人网 » 技术 > 机器学习 > 正文

顶级AI会议NIPS压轴2017(附PPT、视频、代码大汇总)

2017NIPS大会场外

NIPS,全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems),是一个关于机器学习和计算神经科学的国际会议。该会议固定在每年的12月举行,由NIPS基金会主办。NIPS是机器学习领域的顶级会议。在中国计算机学会的国际学术会议排名中,NIPS为人工智能领域的A类会议。
 
今年的NIPS是一场盛大的、极富教育意义和探索精神的、魅力十足且人数众多的会议。
 
量子计算机
 
Tutorials
 
深度学习:实践与趋势
 
我参加了“趋势”部分,我所看到的让我感到好笑,首先,我认为这个tutorial不适用于初学者(这是一种抽象说法)。可以说,它是一个结构良好,更加适用于深度学习从业者的产品导向材料。主要趋势是:域调整/适应;基于图形的神经网络、程序归纳等。从I/O、模型架构和损失的角度分析了每种趋势。Orilo Vinyals还介绍了主要的Mete方法:
\
 
视频: https://www.youtube.com/watch?v=YJnddoa8sHk
 
使用概率程序、程序归纳和深度学习的工程与可逆工程智能
 
概率编程是非常出色的,但或许出于其复杂性的原因,它的应用并不广泛。它为你提供了一种以概率方式描述问题的途径,这是现实世界的自然表现。你可以在参数、模型输入和输出中编码不确定性,并获得一组程序执行的预估痕迹。
\
 
这个领域正在快速发展,并且可为你提供大量工具。我认为使用概率编程领域的想法可以帮助解决在追踪对抗样本方面的问题。
\
 
未来的研究方向包括:
 
  • 与深度学习的融合
 
  • 为蒙特卡洛推理建立快速的运行时间(“BLAS”for Monte Carlo)
 
助力未来100年——受邀嘉宾John Platt所带来的的演讲。
 
受邀嘉宾John Platt所带来的的演讲
 
鼓舞人心的想法和分析——关于将聚变作为能源来源的重要性。此外,作者还提供了一个交互式工具的链接,你可以在其中使用不同比例的能源及其组合来满足约束条件。https://google.github.io/energystrategies
 
为了使聚变能够成功,有许多事情要做。首先它应该消耗更多的能量,这个过程应该是可扩展的,对于最终用户来说它是最重要的因素。据估计,到2020年,这些先决条件中的一部分应该会是非常充分的。
 
注意(Attention)是你所需要的

配对数据图像翻译

注意机制的规划和可替代方案

双曲空间中的分层嵌入

 
注意(Attention)是你所需要的
 
研讨会
 
音频信号处理的机器学习(ML4Audio)
 
https://media.aau.dk/smc/ml4audio/
 
杰出的音频研究员研讨会
 
声学词嵌入。目标——在一些高纬度的空间中建立一种表示,其中,相似的口语词彼此之间的距离较小。这个问题比文本域要复杂得多。因为人们说一个单词的方式是多种多样的。相应的波形因扬声器而异,也取决于韵律和材质。长短期记忆网络(LSTM)可用于生成一个口语词的固定长度向量表示,还可以用于模拟嵌入空间的对比损失技术。这种方法也是多视角的,这意味着字符和声音的表现是共模的。
 
论文:https://arxiv.org/abs/1611.04496
 
代码: https://github.com/opheadacheh/Multi-view-neural-acoustic-words-embeddings
 
\
 
谷歌的玩家在Tacotorn TTS模型上展示了一些改进,这些模型可以捕捉说话者的风格。其主要思想是学习一个“风格原子词汇”(style atomic vocabulary),并使用“风格原子”的线性组合形成一个风格向量,作为生成下一个波形时间步长的条件。调节是通过注意机制来实现的。通过简单预测风格向量的标量权重,完全连接层被用来决定应该将在哪种类型的文本注意(textattention)和风格注意(style attention)进行混合。
 
可用样品:https://google.github.io/tacotron/publications/uncovering_latent_style_factors_for_expressive_speech_synthesis/index.html
\
 
机器学习的创意和设计

\
\
\

 
 
学习解构特征:从感知到控制
 
这个研讨会探讨的主要话题是关于可控生成模型,1年前只有InfoGAN被提出(据我所知),现在有更多的想法被提出来。其中之一是?-VAE,当KL损失项被加权时,其只传递使编码数据发生变化的信息,以便约束信息瓶颈(informationbottleneck)被分离。
 
这个领域是尚没有人的经验可以借鉴,因此没有常见的方式来衡量分离程度,DeepMind提出了改进?-VAE和新分离程度的度量方法。
\\
 
今年在加州长滩会议中心举行的2017年神经信息处理系统(NIPS)会议可谓是有史以来最大的一次会议!以下是所有受邀嘉宾的演讲、教程和研讨会的资源及幻灯片清单。
 
内容包括以下几个方面:
 
1.受邀嘉宾演讲
 
2.教程
 
3.研讨会
 
4.WiML
 
受邀嘉宾演讲
 
  • 助力未来100年——John Platt
 
  • 为什么人工智能够使人类基因组重编程成为可能——Brendan J Frey
 
             视频链接:https://www.youtube.com/watch?v=QJLQBSQJEus
 
  • 偏差所带来的问题——Kate Crawford
 
             视频链接:https://www.youtube.com/watch?v=fMym_BKWQzk
 
  • 结构的不合理有效性——Lise Getoor
 
             视频链接:https://www.youtube.com/watch?v=t4k5LKCpboc
 
  • 机器人深度学习——Pieter Abbeel
 
             幻灯片链接:https://www.dropbox.com/s/fdw7q8mx3x4wr0c/2017_12_xx_NIPS-keynote-final.pdf
 
             视频链接:https://www.youtube.com/watch?v=po9z_tMuEwE
 
  • 学习状态表征——Yael Niv
 
  • 贝叶斯深度学习与深度贝叶斯学习——Yee Whye Teh
 
             视频链接:https://www.youtube.com/watch?v=9saauSBgmcQ
 
  • AlphaZero—掌握没有人类知识的游戏?——DavidSilver
 
             视频链接:https://www.youtube.com/watch?v=A3ekFcZ3KNw
 
Tutorial
  • 深度学习:实践与趋势——Nando de Freitas、Scott Reed、Oriol Vinyals
 
             幻灯片链接:https://docs.google.com/presentation/d/e/2PACX-1vQMZsWfjjLLz_wi8iaMxHKawuTkdqeA3Gw00wy5dBHLhAkuLEvhB7k-4LcO5RQEVFzZXfS6ByABaRr4/pub?slide=id.p
 
             视频链接:https://www.youtube.com/watch?v=YJnddoa8sHk
 
  • Reinforcement Learningwith People——Emma Brunskill
 
             视频链接:https://www.youtube.com/watch?v=TqT9nIx27Eg
 
  • 优化运输的初级入门——Marco Cuturi、Justin M Solomon
 
             幻灯片链接:https://www.dropbox.com/s/55tb2cf3zipl6xu/aprimeronOT.pdf
 
  • 用高斯过程进行深度概率建模——Neil D Lawrence
 
             幻灯片链接:https://inverseprobability.com/talks/lawrence-nips17/deep-probabilistic-modelling-with-gaussian-processes.html
 
  • 机器学习的公平性——Solon Barocas、Moritz Hardt
             幻灯片链接:https://mrtz.org/nips17/#/
 
  • 统计关系人工智能:逻辑,概率和计算——Luc De Raedt、David Poole、Kristian Kersting、Sriraam Natarajan
 
  • 使用概率程序、程序归纳和深度学习进行的工程和可逆工程智能——Josh Tenenbaum、Vikash K Mansinghka
 
  • 可微私有机器学习:理论、算法和应用——Kamalika Chaudhuri、Anand D Sarwate
 
             幻灯片:https://www.ece.rutgers.edu/~asarwate/nips2017/NIPS17_DPML_Tutorial.pdf
 
  • 关于图和流形的几何深度学习——Michael Bronstein、Joan Bruna、arthur szlam、Xavier Bresson、Yann LeCun
 
研讨会
 
1. 2017机器学习系统研讨会(https://learningsys.org/nips17/index.html)
 
与会嘉宾:Aparna Lakshmiratan、Sarah Bird、Siddhartha Sen、Christopher Ré、Li Erran Li、Joseph Gonzalez、Daniel Crankshaw
 
用于新兴AI应用程序的分布式执行引擎——Ion Stoica
 
学习数据库索引的案例
 
联合多任务学习——Virginia Smith
 
链接:https://learningsys.org/nips17/assets/slides/mocha-NIPS.pdf
 
在数据中心规模上加速持久性神经网络——Daniel Lo
 
链接:https://learningsys.org/nips17/assets/slides/brainwave-nips17.pdf
 
DLVM:神经网络DSL的现代编译器框架——RichardWei、Lane Schwartz、Vikram Adve
 
链接:https://learningsys.org/nips17/assets/slides/dlvm-nips17.pdf
 
系统性机器学习系统和机器学习系统——Jeff Dean
 
链接:https://learningsys.org/nips17/assets/slides/dean-nips17.pdf
 
使用ONNX为AI模型创建一个开放灵活的生态系统——Sarah Bird、Dmytro Dzhulgakov
 
链接:https://learningsys.org/nips17/assets/slides/ONNX-workshop.pdf
 
NSML:一个能够让你专注于你的模型机器学习平台——Nako Sung
 
链接:https://learningsys.org/nips17/assets/slides/nsml_slides.pdf
 
DAWNBench:一个端到端的深度学习基准和竞争机制——Cody Coleman
 
链接:https://learningsys.org/nips17/assets/slides/dawn-nips17.pptx
 
2.贝叶斯深度学习(https://bayesiandeeplearning.org/)
 
与会人员:Yarin Gal、José Miguel Hernández-Lobato、Christos Louizos、Andrew GWilson、Diederik P、(Durk) Kingma、Zoubin Ghahramani、Kevin P Murphy、Max Welling
 
为什么你不使用概率编程呢?——Dustin Tran
 
链接:https://dustintran.com/talks/Tran_Probabilistic_Programming.pdf
 
用马蹄形先验(HorseshoePriors)在BNN中进行自动模型选择——Finale Doshi
 
用于分布式学习、不确定性量化和压缩的深度贝叶斯——Max Welling
 
作为近似贝叶斯推理的随机梯度下降——Matt Hoffman
 
自回归生成模型的新进展——Nal Kalchbrenner
 
链接:https://drive.google.com/file/d/11CNWY5op_J5PvP02J9g8tciAom-MW9MZ/view
 
深度内核学习——Russ Salakhutdinov
 
用反向传播进行的贝叶斯推理——Meire Fortunato
 
深度学习层如何通过随机梯度下降来收敛到信息瓶颈限制?——Naftali (Tali) Tishby
 
3.学习有限的标记数据:弱监督和超监督(https://lld-workshop.github.io/)
 
与会人员:Isabelle Augenstein、Stephen Bach、Eugene Belilovsky、Matthew Blaschko、Christoph Lampert、Edouard Oyallon、Emmanouil Antonios Platanios、Alexander Ratner、ChristopherRé
 
Welcome Note
 
链接:https://lld-workshop.github.io/slides/opening.pdf
 
功能磁共振成像启发:从有限的标记数据中学习——Ga?lVaroquaux
 
链接:https://lld-workshop.github.io/slides/gael_varoquaux_lld.pdf
 
从有限的标记数据学习(但存在很多未标记的数据)——Tom Mitchell
 
链接:https://lld-workshop.github.io/slides/tom_mitchell_lld.pdf
 
结构化预测能量网络的光监督——Andrew McCallum
 
链接:https://lld-workshop.github.io/slides/andrew_mccallum_lld.pdf
 
强制神经连接预测器的按则播放——Sebastian Riedel
 
链接:https://lld-workshop.github.io/slides/sebastian_riedel_lld.pdf
 
小组:医学成像中有限的标记数据——Daniel Rubin、Matt Lungren、Ina Fiterau
 
链接:https://lld-workshop.github.io/slides/radiology_panel_lld.pdf
 
样本和计算有效的主动学习算法——Nina Balcan
 
链接:https://lld-workshop.github.io/slides/nina_balcan_lld.pdf
 
这并不明智!对模型解释进行积极注释的个案研究——Sameer Singh
 
链接:https://lld-workshop.github.io/slides/sameer_singh_lld.pdf
 
用生成式对抗网络克服有限的数据——Ian Goodfellow
 
链接:https://www.iangoodfellow.com/slides/2017-12-09-label.pdf
 
自然语言理解的难点在哪里?——Alan Ritter
 
链接:https://lld-workshop.github.io/slides/alan_ritter_lld.pdf
 
结束语
 
链接:https://lld-workshop.github.io/slides/closing.pdf
 
座谈会
 
1.可解释的机器学习
 
链接:https://interpretable.ml/
 
与会人员:Andrew G Wilson、Jason Yosinski、Patrice Simard、Rich Caruana、William Herlands
 
因果关系在可解释性中所发挥的作用——Bernhard Scholkopf
 
幻灯片链接:https://s.interpretable.ml/nips_interpretable_ml_2017_Bernhard_Schoelkopf.pdf
 
视频链接:https://www.youtube.com/watch?v=9C3RvDs_hHw
 
大型图像数据集中的可解释性发现——Kiri Wagstaff
 
幻灯片链接:https://s.interpretable.ml/nips_interpretable_ml_2017_kiri_wagstaff.pdf
 
视频链接:https://www.youtube.com/watch?v=_K2wVfi_KDM
 
(隐藏的)校准成本——Bernhard Scholkopf
 
幻灯片链接:https://s.interpretable.ml/nips_interpretable_ml_2017_Kilian_Weinberger.pdf
 
小组讨论会
 
链接:https://www.youtube.com/watch?v=kruwzfvKt3w
 
主持人为Rich Caruana,与会人员:Hanna Wallach、Kiri Wagstaff、Suchi Saria、Bolei Zhou和Zack Lipton。
 
人工智能安全的可解释性——Victoria Krakovna
 
幻灯片链接:https://s.interpretable.ml/nips_interpretable_ml_2017_victoria_Krakovna.pdf
 
视频链接:https://www.youtube.com/watch?v=3HzIutdlpho
 
操作和测量模型的可解释性——Jenn Wortman Vaughan
 
幻灯片链接:https://s.interpretable.ml/nips_interpretable_ml_2017_jenn_wortman_vaughan.pdf
 
视频链接:https://www.youtube.com/watch?v=8ZoL-cKRf2o
 
调试机器学习管道——Jerry Zhu
 
幻灯片链接:https://s.interpretable.ml/nips_interpretable_ml_2017_jerry_zhu.pdf
 
视频链接:https://www.youtube.com/watch?v=XO2281l_JVw
 
小组辩论和后续讨论
 
链接:https://www.youtube.com/watch?v=2hW05ZfsUUo
 
与会人员:Yann LeCun、Kilian Weinberger、Patrice Simard和Rich Caruana。
 
WiML
 
贝叶斯机器学习:量化不确定性和规模化上的鲁棒性——Tamara Broderick
 
用于坚守领域的以通信为中心的多智能体深度强化学习——Aishwarya Unnikrishnan
 
图卷积网络可以在基因组学的深度学习模型中编码三维基因组体系结构——Peyton Greenside
 
社会科学机器学习——Hannah Wallach
 
公平意识建议——Palak Agarwal
 
具有损坏性奖励信道的强化学习——Victoria Krakivna
 
改善健康保健:强化学习所面临的挑战和机遇——Joelle Pineau
 
在深度学习中利用对抗性攻击提高鲁棒性——Zhenyi Tang
 
时序要求严格的机器学习——Nina Mishra
 
用于评估重复拍卖中调出机制的通用框架——Hoda Heidari
 
参与专家:在社会科学中应对应对发散引起先验的狄利克雷过程处理方法(A Dirichlet Process Approach to Divergent Elicited Priors)——SarahBouchat
 
大型归属图的表征学习——Nesreen K Ahmed
 
幻灯片链接:https://www.slideshare.net/NesreenAhmed2/representation-learning-in-large-attributed-graphs


上一篇:深度学习反向传播算法(BP)原理推导及代码实现
下一篇:斯坦福大学机器学习笔记之成本函数
精选推荐
谷歌大脑发布ROBEL基准 鼓励用低成本机器人训练AI系统
谷歌大脑发布ROBEL基准 鼓励用低成本机器人训练AI系统

[2019-10-11]  训练AI系统的机器人D& 39;Claw和D& 39;Kitty用于控制机器人的人工智能系统,测量其性能所使用的基准通常仅限于为工业环境设计的昂贵硬件, ...

从AI中窥探人性
从AI中窥探人性

[2018-01-03]  人们对人造智能的恐惧早已成为科幻书籍和电影的极好题材。但现在,一些同样的担忧开始影响关于现实世界AI技术的政策讨论。如果这样的担忧演变成为一种技术恐慌...

南加州大学机器人学家:机器人更适合粗暴的爱
南加州大学机器人学家:机器人更适合粗暴的爱

[2019-11-07]  图片来自JOHN MADERE GETTY IMAGES打是疼骂是爱,当人类粗暴的将物体从机器人手中敲掉,看似残忍,实际上却能帮助机器人找到最好的握持物 ...

2022年全球工业机器人市场将达到790亿美元
2022年全球工业机器人市场将达到790亿美元

[2017-09-04]  预计到 2022年, 全球工业机器人市场将达到790亿美元, 并在预测期内登记11 5% 的复合年增长率。随着发展中国家中小型企业需求的不断增长, 采用自动化技术以确保生产质量......

苹果AI主管透露自动驾驶汽车项目关于机器学习方面的进展
苹果AI主管透露自动驾驶汽车项目关于机器学习方面的进展

[2017-12-11]  苹果隐秘的自动驾驶汽车项目多年来一直在转移焦点,但今年似乎正在加速。 4月份,公司获得了在加利福尼亚州进行自动驾驶汽车测试的许可证,而在6月份,苹果公司首席执行官库......

机器人工程师具体都做什么?
机器人工程师具体都做什么?

[2017-12-08]  机器人工程师是幕后设计师,负责创建机器人和机器人系统,能够执行人类无法完成或不愿意完成的任务。 通过他们的创造,机器人工程师帮助工作更安全,更轻松,更高效,特别是......

亚马逊计划建一个4000万美元的机器人中心
亚马逊计划建一个4000万美元的机器人中心

[2019-11-07]  爱吧机器人网消息,亚马逊11月6日宣布了一项计划,计划在美国马萨诸塞州韦斯特伯勒建立一个4000万美元、35万平方英尺的机器人创新中心。新 ...

机器人灵巧手将成为智能机器人的下一个重大突破
机器人灵巧手将成为智能机器人的下一个重大突破

[2018-01-25]  计算机科学教授兼东北地区助手机器人实验室负责人罗伯特·普拉特(Robert Platt)说:“机器人手操作是下一步要解决的问题。想象一下,一个机器人可以在现实世界中用手去做事......

本周栏目热点

深度学习反向传播算法(BP)原理推导及代码实现

[2017-12-19]  分析了手写字数据集分类的原理,利用神经网络模型,编写了SGD算法的代码,分多个epochs,每个 epoch 又对 mini_batch 样本做多次迭代计算。这其中,非常重要的一个步骤,......

如何在机器学习项目中使用统计方法的示例

[2018-07-23]  事实上,机器学习预测建模项目必须通过统计学方法才能有效的进行。在本文中,我们将通过实例介绍一些在预测建模问题中起关键作用的统计学方法。...

[2017-08-28]  模拟退火(Simulated Annealing,简称SA)是一种通用概率算法,用来在一个大的搜寻空间内找寻命题的最优解。1、固体退火原理:将固体加温 ...

Machine Learning-感知器分类算法详解

[2018-05-31]  今天我们来讲解的内容是感知器分类算法,本文的结构如下:什么是感知器分类算法,在Python中实现感知器学习算法,在iris(鸢尾花)数据集上训练一个感知器模型,自适应线性神......

机器人是怎么深度学习的?

[2016-03-29]      一个人独处时,感觉有点孤单,怎么办?微软亚洲研究院推出的微软小冰,或许 ...