爱吧机器人网 » 技术 > 人工智能 > 正文

OpenAI发布高级语言人工智能模型GPT-2,参数达7.74亿个

OpenAI于8月20日声称,它计划发布新一代GPT-2。GPT-2是一种高级语言人工智能模型,在今年2月发布后引发了社会热烈讨论。此次发布的版本包含7.74亿个参数,参数含量高于此前该组织在2月和5月为部分研究人员开发的版本。

OpenAI同时还公开了一份开源法律协议,为开发大型人工智能模型的公司拟定自己的模型共享协议提供了支持。完整的模型包含大约15亿个参数,目前尚未被发布,不过OpenAI表示,自2月份以来,他们已经与5家复制了该模型的组织进行了交涉。

同日,OpenAI的研究人员和哈佛大学的研究助理Ariel Herbert-Voss在一份白皮书中详细介绍了其对GPT-2的相关研究及其阶段性发布流程。

白皮书中还描述了OpenAI选择延迟发布GPT-2完整版本的原因。

“由于跨维度的性能——比如文本的一致性——会随着模型参数的增加而提高,我们决定不同时发布所有四个GPT-2模型,因为我们担心参数较高的模型会被滥用。以这种方式的发布,我们能够为风险分析留出时间,并从发布低参数的模型中总结经验,来调整对高参数模型采取的行动。”

OpenAI以担心恶意滥用和赝品仿制为理由,在今年2月GPT-2首次亮相时,选择不共享所有版本(共四个)的模型,在一系列任务上取得了优异结果。在训练中,GPT-2使用了40GB的互联网文本。

最初,有些人质疑OpenAI这样做法,他们表示,OpenAI未发布源代码,而这会对缺乏资源复制该模型或其作品的科学家及社会人士构成潜在威胁。

其他人则称这是OpenAI的宣传噱头。OpenAI最近从微软手中获得了10亿美元资金,并在今年3月改变了其非营利性的商业地位。

为了避免信息错误传播,OpenAI与安全专家合作,监控人们对GPT-2的使用,并“对自动检测、潜在偏见和误用进行了内部研究”。

为了继续挖掘潜在误用,以及更安全地发布像GPT-2这样的大型模型,OpenAI与俄勒冈大学、德克萨斯大学奥斯汀分校、米德尔伯里国际问题研究所以及康奈尔大学建立了合作关系。

比起探讨其潜在误用,白皮书讲述了GPT-2灵活运用现有案例的行为,包括帮助作者完成他们的工作、支持软件工程师完成代码自动化、升级聊天机器人以及回答关于健康的问题。

康奈尔大学的研究人员本月早些时候在《外交事务》杂志上发表的一篇分析文章指出,据统计,阅读GPT-2生成文本的人中,超过70%的人认为这些文本就像《纽约时报》的文章一样可信。

白皮书引用了艾伦人工智能研究所和Hugging Face NLP的交错发布方法,作为未来发布大型语言理解模型可能采用的方式。

在一篇附着了法律协议和白皮书链接的博客中,研究人员提出:“我们认为,将分阶段发布的形式和基于合作伙伴关系的模型共享形式相结合,很可能成为人工智能领域有责发布的关键基础,尤其是在大量模型发布的大背景下。”

“随着时间的推移,大型模型带来的固有问题将会增加,而不是减少。我们希望与GPT-2的合作将有助于为此提供证据,让人工智能社区在面对人工智能研究固有的出版挑战时有所借鉴。”

上一篇:每天超50亿推广流量、3亿商品展现,阿里妈妈的推荐技术有多牛?
下一篇:周鸿祎谈人工智能:在网络攻防中只能作为辅助
精选推荐
机器人从工业走向家庭  库卡KUKA目标是引领中国市场
机器人从工业走向家庭 库卡KUKA目标是引领中国市场

[2017-12-08]  机器人正在改变着人们的生活方式,而库卡KUKA想要在中国这个大蛋糕中占有一块大份额,库卡公司正在引领市场...

谷歌宣布搜索算法重大升级,用BERT模型理解用户搜索意图
谷歌宣布搜索算法重大升级,用BERT模型理解用户搜索意图

[2019-10-26]  谷歌刚刚宣布,其搜索引擎的核心算法正在进行一项重大升级,这项升级可能会改变10%的搜索结果排序。此项升级应用了自然语言处理技术(BERT ...

机器人工程师具体都做什么?
机器人工程师具体都做什么?

[2017-12-08]  机器人工程师是幕后设计师,负责创建机器人和机器人系统,能够执行人类无法完成或不愿意完成的任务。 通过他们的创造,机器人工程师帮助工作更安全,更轻松,更高效,特别是......

新型轻便机器人套装重5kg,辅助跑步和步行
新型轻便机器人套装重5kg,辅助跑步和步行

[2019-10-23]  虽然步行对大多数人来说似乎不是负担,但对有些人来说,这项简单的运动往往会让人感到筋疲力尽。比如手术或中风后恢复的患者、帕金森氏症患 ...

机器人iCub作为嵌入式AI的标准机器人研究平台的重要性
机器人iCub作为嵌入式AI的标准机器人研究平台的重要性

[2017-12-24]  机器人的研究在过去10年中得益于一个具有嵌入式人工智能(AI)的标准化开源平台——人形机器人iCub。iCub最初在意大利被创建,如今在欧洲、美国、韩国、新加坡和日本的实验室......

MIT用深度学习处理3D点云数据 应用于无人汽车等领域
MIT用深度学习处理3D点云数据 应用于无人汽车等领域

[2019-10-23]  如果你见过自动驾驶汽车,也许会对车顶上那个一直在旋转的圆柱体感到好奇。这是一个雷达传感器,无人驾驶汽车依靠它在现实世界中进行导航。 ...

[2017-03-21]  虽然有很多关于机器人取代工人的担心,但哈佛经济学家James Bessen的论文指出,在过去的67年里机器人仅仅淘汰掉人类工作中的一个。在1950 ...

Crossbar将电阻式RAM推入嵌入式AI
Crossbar将电阻式RAM推入嵌入式AI

[2018-05-17]  电阻RAM技术开发商Crossbar表示,它已与航空航天芯片制造商Microsemi达成协议,允许后者在未来的芯片中嵌入Crossbar的非易失性存储器。此举是在先进制造业节点的领先代工厂选......

本周栏目热点

如何才能知道对方宣传的是伪AI? 只需问5个问题

[2017-03-15]  编者按:随着人工智能在图像识别、围棋、扑克等方面取得了重大突破,现在AI现在已经被炒上天去了。很多新推出的产品和服务都是言必称采用了 ...

AI人工智能:帮你测算恋爱的死亡日期

[2017-10-01]  AI是科技领域中的一个概念,而恋爱,是人类的一种情感。科技本身是没有情感的,因此,我们一般不会将AI与恋爱结合在一起,但是最近,由南加 ...

人工智能革命揭秘上篇(上)

[2016-03-09]   我们即将创造出一种新的生命形式,这个事件不仅是进化取得突破的标志,也有可能威胁到人类这个物种的生 ...

谷歌AI对弈围棋冠军李世石 3月9日看曹大元说棋

[2016-03-04]   3月9日,我们将迎来一场人机世纪大战!战书已升起,100万美元的奖金悬在空中。人工智能和人类大脑,究 ...

Facebook人工智能机器人生成照片以假乱真

[1970-01-01]    无论你是否认为面部识别令人毛骨悚然,很明显全球多家科技公司正在继续投资开发更强大的图像智能技术。  无论是微软的猜年龄机器人, ...