爱吧机器人网 » 技术 > 人工智能 > 正文

OpenAI发布高级语言人工智能模型GPT-2,参数达7.74亿个

OpenAI于8月20日声称,它计划发布新一代GPT-2。GPT-2是一种高级语言人工智能模型,在今年2月发布后引发了社会热烈讨论。此次发布的版本包含7.74亿个参数,参数含量高于此前该组织在2月和5月为部分研究人员开发的版本。

OpenAI同时还公开了一份开源法律协议,为开发大型人工智能模型的公司拟定自己的模型共享协议提供了支持。完整的模型包含大约15亿个参数,目前尚未被发布,不过OpenAI表示,自2月份以来,他们已经与5家复制了该模型的组织进行了交涉。

同日,OpenAI的研究人员和哈佛大学的研究助理Ariel Herbert-Voss在一份白皮书中详细介绍了其对GPT-2的相关研究及其阶段性发布流程。

白皮书中还描述了OpenAI选择延迟发布GPT-2完整版本的原因。

“由于跨维度的性能——比如文本的一致性——会随着模型参数的增加而提高,我们决定不同时发布所有四个GPT-2模型,因为我们担心参数较高的模型会被滥用。以这种方式的发布,我们能够为风险分析留出时间,并从发布低参数的模型中总结经验,来调整对高参数模型采取的行动。”

OpenAI以担心恶意滥用和赝品仿制为理由,在今年2月GPT-2首次亮相时,选择不共享所有版本(共四个)的模型,在一系列任务上取得了优异结果。在训练中,GPT-2使用了40GB的互联网文本。

最初,有些人质疑OpenAI这样做法,他们表示,OpenAI未发布源代码,而这会对缺乏资源复制该模型或其作品的科学家及社会人士构成潜在威胁。

其他人则称这是OpenAI的宣传噱头。OpenAI最近从微软手中获得了10亿美元资金,并在今年3月改变了其非营利性的商业地位。

为了避免信息错误传播,OpenAI与安全专家合作,监控人们对GPT-2的使用,并“对自动检测、潜在偏见和误用进行了内部研究”。

为了继续挖掘潜在误用,以及更安全地发布像GPT-2这样的大型模型,OpenAI与俄勒冈大学、德克萨斯大学奥斯汀分校、米德尔伯里国际问题研究所以及康奈尔大学建立了合作关系。

比起探讨其潜在误用,白皮书讲述了GPT-2灵活运用现有案例的行为,包括帮助作者完成他们的工作、支持软件工程师完成代码自动化、升级聊天机器人以及回答关于健康的问题。

康奈尔大学的研究人员本月早些时候在《外交事务》杂志上发表的一篇分析文章指出,据统计,阅读GPT-2生成文本的人中,超过70%的人认为这些文本就像《纽约时报》的文章一样可信。

白皮书引用了艾伦人工智能研究所和Hugging Face NLP的交错发布方法,作为未来发布大型语言理解模型可能采用的方式。

在一篇附着了法律协议和白皮书链接的博客中,研究人员提出:“我们认为,将分阶段发布的形式和基于合作伙伴关系的模型共享形式相结合,很可能成为人工智能领域有责发布的关键基础,尤其是在大量模型发布的大背景下。”

“随着时间的推移,大型模型带来的固有问题将会增加,而不是减少。我们希望与GPT-2的合作将有助于为此提供证据,让人工智能社区在面对人工智能研究固有的出版挑战时有所借鉴。”

上一篇:每天超50亿推广流量、3亿商品展现,阿里妈妈的推荐技术有多牛?
下一篇:周鸿祎谈人工智能:在网络攻防中只能作为辅助
精选推荐
受大脑控制的机器人
受大脑控制的机器人

[2017-03-21]   想让机器人做我们想做的,首先,他得全面地了解我们。通常,这就意味着人类需要要付出更多。比如,教机器人复杂的人类语言或者把一项任务 ...

CES 2018:英特尔推出49量子位芯片争夺量子霸权
CES 2018:英特尔推出49量子位芯片争夺量子霸权

[2018-01-10]  在与Google、IBM的一场关于建立量子计算系统的马拉松比赛中,英特尔通过了一个关键的里程碑。近日,这个科技巨头已经推出了一个49个量子位 ...

2017年:AI渗入云端
2017年:AI渗入云端

[2017-12-29]  云中的人工智能不仅仅是科技巨头的权力游戏,它也可能是人工智能领域的下一个飞跃。加利福尼亚州的Rigetti Computing公司刚刚使用其原型量子芯片之一在其云平台上运行机器学......

MIT研制出可以像植物一样生长的机器人
MIT研制出可以像植物一样生长的机器人

[2019-11-09]  麻省理工学院开发了一种新型机器人,这种机器人可以本质上自我延伸,其生长方式与植物幼苗向上生长的方式惊人相似。值得注意的是,研究人员 ...

人工智能民主化能否实现取决于科技巨头
人工智能民主化能否实现取决于科技巨头

[2017-12-29]  我们经常听到像谷歌和微软这样的公司说他们希望人工智能民主化。这是一个很好的词,民主化。 但这些公司如何界定“民主化”还不清楚,像AI本身一样,它似乎有点炒作的味道...

什么是机器人学?机器人学简介
什么是机器人学?机器人学简介

[2017-12-14]  机器人学是工程学与科学的交叉学科,包括机械工程,电气工程,计算机科学等。机器人技术涉及机器人的设计、制造、操作和应用,以及用于控制、感官反馈和信息处理的计算机系统。...

集群机器人领域最新研究:一种用于探测未知环境的微型无人机群
集群机器人领域最新研究:一种用于探测未知环境的微型无人机群

[2019-10-26]  (图:无人机扩散至不同方向来探索环境。当一个无人机注意到另一个无人机在它的首选方向,它将试图飞到另一个方向。若首选方向冲突,低优先 ...

农业将为高科技行业 农业机器人的应用领域
农业将为高科技行业 农业机器人的应用领域

[2017-12-17]  农业正在迅速成为一个令人兴奋的高科技产业,吸引了新专业人士,新公司和新投资者。技术发展迅速,不仅提高了农民的生产能力,而且促进了我们所知道的机器人和自动化技术的发展。...

本周栏目热点

为你讲述大历史观视野下的人工智能

[2016-08-07]   人工智能 是当前科学技术发展的前沿。目前,关于 人工智能 的争论不仅在 科技 界,而且扩展到整个社会。争论围绕以下问题展开:其一, 人 ...

AISA人工智能主动防御系统—美国路演硅谷站

[2018-07-17]  26日 硅谷区块链大会。硅谷项目AISA异军凸起,首提AI人工智能威胁防御课题,引起了业界广泛关注。该项目极具创新性。参会人士对项目未来发展普遍看好,多家VC表示主动投资意向。...

从"陪练"到"赢家":人机博弈的六十年

[2016-03-11]   本报记者 常丽君自上世纪五十年代第一个博弈类计算机程序诞生以来,人机之间的博弈从未终止。60多年的 ...

人工智能机器人将要接管世界?

[1970-01-01]    人类对机器人的来临早有准备,只是化学和新陈代谢的速度极限决定了有机大脑的能力存在着极限。或许人类的大脑已经达到了那个顶峰,但对 ...

美媒:日本寄望人工智能重振科技业

[1970-01-01]   据美国《华尔街日报》12月1日报道,Daisuke Okanohara是东京 人工智能 公司Preferred Networks Inc 的 ...