当前位置:穴里新闻网 > 教育 > 时时博线上娱乐代理|能“预测未来”的AI来了!谷歌DeepMind推Dreamer,训练时间减半

时时博线上娱乐代理|能“预测未来”的AI来了!谷歌DeepMind推Dreamer,训练时间减半

2020-01-11 16:50:29穴里新闻网 阅读量:4598

导读:研究人员表示,dreamer利用了与上一代planet相比,达到相同性能的训练时间缩短了将近一半。研究人员表示,dreamer不仅适用于任何学习型任务,并且在数据效率、计算时间、最终性能等方面都超越了现有方法。此次deepmind推出的dreamer,相比前代的主要突破在于将“潜在想象力”运用在ai的训练中,不仅训练效率提升,也为今后在视觉更加复杂的环境中进行研究提供了新思路。

时时博线上娱乐代理|能“预测未来”的AI来了!谷歌DeepMind推Dreamer,训练时间减半

时时博线上娱乐代理,智东西(公众号:zhidxcom)编 | 云鹏

智东西12月13日消息,据外媒报道,谷歌deepmind和多伦多大学的研究人员在neurips 2019会议上介绍了ai “dreamer”,可以通过已知世界模型在新环境中对视觉图像的运动方式进行预测。dreamer在观察到图像运动方式时,会先构想出一些可能的动作,然后判断这些构想动作可能得到的奖励,根据奖励来最终预测动作。

研究人员表示,dreamer利用了与上一代planet相比,达到相同性能的训练时间缩短了将近一半。并且这种训练方式将来可能在视觉复杂度更高的环境中得以应用。以下是对venturebeat相关报道的原文编译。

一些ai系统通过借助过去经验所提供的世界信息,可以在具有挑战性的环境中实现目标。他们把这些概括为新的情况(novel situations),这使他们在没有遇到过的设置环境中也可以完成目标。

事实证明,强化学习(reinforcement learning)这种利用奖励来推动软件策略朝着目标前进的培训技术,特别适合于学习总结ai经验的世界模型(world models),并通过扩展(extension)来促进新行为(novel behaviors)的学习。

来自deepmind和多伦多大学的研究人员试图利用这一点,为此他们设计了名为“dreamer”的ai,旨在将一个世界模型内化,并通过“想象(imagining)”行为的长期结果来提前计划如何选择行为。

研究人员表示,dreamer不仅适用于任何学习型任务,并且在数据效率、计算时间、最终性能等方面都超越了现有方法。

在ai的整个生命周期中,无论是交错(interleaved)的还是并行(in parallel)的,dreamer都会学习一个潜在的动力学模型(latent dynamics model),然后从行动和观察中对回报进行预测。

在这种情况下,“潜在动力学模型”是指从输入的图像信息中学习并执行计划来总结新经验的模型。“潜在(latent)”表示它依赖于隐藏(hidden)或潜在状态的紧凑序列(compact sequence),这使得它能够学习更抽象的表示,例如对象的位置和速度。

▲dreamer在钟摆任务中进行预测(中间行为预测行)

dreamer使用了一个多部分(multi-part)潜在动力学模型,该模型在结构上有些复杂。

dreamer总体来说分为四个部分,第一部分负责对图像运动进行观察并编码为机器可以理解的信息;第二部分根据这些已知信息,对图像中没有观察到的部分进行预测;第三部分是一个奖励组件,负责针对不同的预测动作给出奖励;最后一部分是一个价值模型,估计了预测动作可能得到的奖励,并据此不断优化预测动作,让其更加精准。

▲dreamer在迷宫导航游戏中进行预测(中间行为预测行)

研究人员在deepmind用于评估ai机器学习能力的仿真软件中,对dreamer进行了20个视觉控制任务的测试。他们首先使用nvidia v100图形芯片和10个处理器核对它进行训练,他们说,每106个环境步骤的花费时间是9小时。相比之下,dreamer的上一代planet花了17个小时才达到类似的性能。

▲dreamer在atari游戏中进行预测(中间行为预测行)

研究人员说,dreamer有效地利用了从少量的经验中总结出来的已知世界模型(learned world models),它的成功证明了通过潜在的想象力(latent imagination)学习行为的效率已经可以优于先前的顶尖方法。他们还表示,dreamer的价值模型即使在短期规划(short-term planning)中也表现良好,在20项任务中有16项任务的表现优于其他模型,在另外4个任务中打平。

研究人员写到:“表征学习(representation learning)的未来研究可能会将潜在的想象力放大到视觉复杂度更高的环境中。”他们在本周于温哥华举办的neurips 2019上展示了他们的研究成果。dreamer项目的代码已经在github公开。

此次deepmind推出的dreamer,相比前代的主要突破在于将“潜在想象力”运用在ai的训练中,不仅训练效率提升,也为今后在视觉更加复杂的环境中进行研究提供了新思路。

通过现有的认知信息建立模型,预测和解决新环境中的问题,是将来ai研究的大方向之一,我们也期待deepmind后续有更多新突破。

文章来源:venturebeat

感谢阅读。点击关注上船,带你浪在科技前沿~

相关新闻

业绩好到炸锅 机构大幅上调15股预期 这股冲A股老二 2020-01-09 10:41:21
招商证券酝酿已久的员工持股计划终于显露真容。覆盖员工不超过1157人草案显示,招商证券此次员工持股计划的覆盖范围很广,参与对象可以是与公司或下属全资子公司签订劳动合同的公司董事、监事、高管、d层级及以上层级人员以及其他核心骨干员工,总人数不超过1157人。
富力建业·盛悦府4号楼新品加推 2020-01-08 16:29:50
据了解,富力建业·盛悦府自面市以来,便以优越的地段价值、顶级的配套优势、卓越的产品力,缔造三环举城瞩目的焦点。作为富力建业全新升级力作,盛悦府择址三环内、二环旁重要区域,地处高新区、中原区、金水区和惠济区四区交接的黄金地段,地理位置极其优越,坐拥全系生活配套,勾勒理想生活版图。据悉,10月10日,盛悦府不负期待,全新盛境4号楼荣耀加推,以卓越致敬非凡。
36家互联网企业签订履行社会责任倡议 2019-12-22 21:01:48
19日,阿里巴巴、腾讯、百度、京东、美团等36家互联网企业在京签订《2018中国互联网企业履行社会责任倡议》,努力共同营造健康的网络生态环境,促进行业长远健康发展。由国家网信办网络社会工作局指导、中国互联网协会主办的第五届中国互联网企业社会责任论坛19日在京召开,除签订互联网企业社会责任倡议之外,会上还发布了《中国互联网行业社会责任报告》。
5G信号年内将覆盖通州区重点区域 2019-12-23 08:11:56
届时,将实现通州全境重点区域的5G信号全覆盖,会议还介绍了8大重点区域的工作进度。据了解,城市副中心区域内洽谈的5G行业应用包括——环球主题公园、重点医院、重点校园及大型传统行业的工业互联网合作项目。目前环球主题公园已经与企业签署5G战略合作协议,并就智慧停车达成了具体的应用场景,现已在建设覆盖中。
吉林大药房跨省第一单落子北京,1.53亿收购永安复星52%股权 2020-01-09 13:28:59
受吉林大药房、复星医药的委托,中联资产评估集团有限公司对永安复星进行了详细评估,最后以资产基础法确定了相关结果:截至2016年12月31日,永安复星的资产账面值16378.94万元,评估值33475.90万元,增值率104.38%;负债账面值4053.81万元,评估值4050.37万元;净资产账面值12325.13,评估值29425.53万元,增值率138.74%。

推荐


Copyright 2018-2019 hq-silk.com 穴里新闻网 Inc. All Rights Reserved.