最好看的新闻,最实用的信息
11月27日 24.6°C-27.0°C
澳元 : 人民币=4.7
凯恩斯
今日澳洲app下载
登录 注册

OpenAI:颠覆一切,也被一切颠覆(组图)

2023-09-13 来源: 华尔街见闻 原文链接 评论0条

未来50年的世界将是什么样子?

《失控》作者、《连线》杂志创刊主编凯文·凯利相信,从未来5000天到未来50年,AI将成为世界最重要的关键词,成为如同互联网一样无处不在的基础设施。

而OpenAI,是他心目中最成功的AI公司,“一个绝佳的颠覆者案例”。

从去年底ChatGPT仓促上线、意外爆红以来,这家公司和他的创始团队,被这场席卷全球的技术狂热推上了舞台中央。

OpenAI从何而来,又将去往何处?近期,知名科技记者Steven Levy在《连线》杂志发表了一篇长文,对OpenAI公司的成长史和公司愿景展开了深度讨论。

OpenAI:颠覆一切,也被一切颠覆(组图) - 1

Altman的选择

在领导OpenAI之前,Sam Altman已经当上了世界上最著名的科技孵化器Y Combinator的CEO,从所有这些独角兽企业中套现的意义不在于装满合伙人的钱包,而在于为物种层面的变革提供资金。

他成立了一个研究部门,希望为雄心勃勃的项目提供资金,以解决世界上最大的问题。但在他看来,AI才是颠覆一切的创新领域:一个能比人类更好地解决人类问题的超级智能。

他甚至还有过竞选加州州长的想法。但他意识到,他完全有能力做更大的事情——领导一家将改变人类本身的公司。

在加州的一场晚宴上,他与马斯克一拍即合。

马斯克当时正与谷歌联合创始人Larry Page吵得不可开交。因为马斯克相信,人类意识有珍贵的独特性,但Page认为机器和人是平等的,如果机器真的有了意识、消灭了人类,那就是自然进化的法则,Page还指责马斯克是一个“物种主义者”。

于是,马斯克决心花一些钱,为“人类团队”做出更多努力。

既关心技术变革,也关心AI安全性的Altman,自然成了他心目中理想的合作伙伴。

一个崭新的AI研究机构,靠什么吸引顶尖人才?Altman的答案是:AGI的疯狂愿景。

AGI就是所谓的通用人工智能,即能够像人类一样完成复杂任务的AI。在Altman仍在担任YC CEO的那些日子,计算机已经能通过深度学习和神经网络完成令人惊叹的壮举,比如给照片贴标签、翻译文本和优化复杂的广告网络。

这些进步让他相信,AGI第一次真正触手可及。然而,把它交到大公司手中却让他感到担忧。他认为这些公司会过于专注于自己的产品,而无法抓住机会尽快开发出AGI。而且,如果他们真的创造出了AGI,他们可能会不计后果地在没有采取必要预防措施的情况下将其公之于众。所以需要有其他人来制衡他们。

Altman筛选招聘对象最重要的原则就是,必须是AGI的信徒。凭借他本人和马斯克的号召力,以及探索AGI这套诱人的话术,Altman挖来了Stripe CTO Greg Brockman和谷歌大脑核心科学家Ilya Sutskever等人。

OpenAI:颠覆一切,也被一切颠覆(组图) - 2

2015年12月,OpenAI正式成立。

2021 年,他对记者表示:

“AGI只能打造一次。而且,能够很好地运营OpenAI的人并不多。我很幸运,我生命中的一系列经历让我真正积极地为此做好了准备。”

OpenAI:颠覆一切,也被一切颠覆(组图) - 3

迷茫期

尽管有一个疯狂而伟大的愿景,但OpenAI对如何实现目标毫无头绪。

Altman回忆道,当最初这个小团队还没有办公室、聚集在Brockman公寓时,他脑子一直在想:

“我们该怎么办?”

直到公司成立一年多以后,事情也没有太大进展。当时公司并没有一个明确的方向,只是随便胡乱尝试一通,钻研解决视频游戏的系统,在机器人技术上花费了大量精力,然后发几篇论文。

Altman想起当时公司的景象时说:

“我们知道我们想做什么。我们知道为什么要这么做。但我们不知道怎么做。”

但他们相信。使用深度学习技术的人工神经网络不断改进,为他们的乐观情绪提供了支持。Sutskever说,追逐人工智能“并非完全疯狂。它只是适度疯狂而已”。

直到2016年,OpenAI等来了传奇AI研究员Alec Radford。在接受OpenAI的邀请后,他告诉他的高中杂志,担任这个新职位“有点类似于加入一个研究生项目”——一个研究AI的开放式、低压力的栖息地。 

Radford是一位内敛、低调的研究者,他并未接受作者面对面采访邀约,只是写了一封长邮件描述了他在OpenAI的工作。

他最大的兴趣是让神经网络与人类进行清晰的对话。这与制作聊天机器人的传统脚本模式不同,从原始的ELIZA到流行的Siri和Alexa,都采用了这种方法,但都很糟糕。他写道:“我们的目标是看看是否有任何任务、任何环境、任何领域、任何事情,语言模型都能派上用场。”

他解释说,当时,语言模型被视为新奇的玩具,只能偶尔生成一个有意义的句子,而且只有在你真的眯起眼睛的情况下才能生成。他的第一个实验是扫描 20 亿条 Reddit 评论来训练语言模型。

和 OpenAI 的许多早期实验一样,这个实验失败了。没关系。这位 23 岁的年轻人获得了继续前进、再次失败的许可。Brockman说:“我们当时就想,Alec 很棒,就让他做自己的事情吧。”

OpenAI:颠覆一切,也被一切颠覆(组图) - 4

转折点

2017 年初,一篇由 8 位谷歌研究人员合著的研究论文的预印本出现了,但并未引起人们的注意。这篇论文的正式标题是“Attention Is All You Need”,但它后来被称为“Transformer论文”,这样命名既是为了反映这个想法改变游戏规则的性质,也是为了纪念从卡车变形为巨型机器人的玩具。

Transformer使神经网络能够更高效地理解和生成语言。他们通过并行分析语料,找出哪些元素值得关注。这极大地优化了生成连贯文本以响应提示的过程。

最终,人们意识到,同样的技术也可以生成图像甚至视频。虽然该论文后来被称为当前AI狂潮的催化剂,但在当时,Ilya Sutskever只是少数几个了解这一突破有多么强大的人之一。

Brockman回忆道,Ilya看到Transformer出现时,惊喜地喊到‘这就是我们一直在等待的。’

这就是OpenAI的策略——努力解决问题,然后坚信团队或这个领域中的某个人会设法找出缺失的部分。

此后,Alec Radford开始试验Transformer结构。他表示,当时在两周内取得的进展超过了过去两年的进展。他逐渐明白,要想最大限度地利用新模型,关键在于扩大规模——在超大规模的数据集上进行训练。这个想法被他的同事Rewon Child称为“Big Transformer”。

这种方法需要改变OpenAI之前那种零散、各自为阵的企业文化,必须聚集团队资源,专注一个点的突破。Quora 首席执行官Adam D'Angelo 是 OpenAI 的董事会成员,他对作者解释道:

“为了利用 Transformer 的优势,你需要扩大它的规模。你需要把它办得更像一个工程组织。你不能让每个研究人员都做自己的事,训练自己的模型,做出可以发表论文的优雅的东西。你必须做这些更乏味、不那么优雅的工作。”

Radford 和他的合作者给他们创建的模型起的名字是“generatively pretrained transformer”——GPT的缩写。最终,这个模型被通称为“生成式AI”。为了建立这个模型,他们收集了7000本未出版的书籍,其中很多都是浪漫、奇幻和冒险类型的书籍,并在Quora问答以及初中和高中考试的数千段文章中对其进行了完善。该模型包含 1.17 亿个参数或变量,在理解语言和生成答案方面的表现优于之前的所有模型。

但最引人注目的结果是,在处理如此大量的数据后,模型能够提供超出其训练的结果,在全新的领域提供专业知识。这些计划外的机器人能力被称为“零样本”。它们仍然令研究人员感到困惑——这也是该领域许多人对这些所谓的大型语言模型感到不安的原因。

OpenAI:颠覆一切,也被一切颠覆(组图) - 5

商业化

OpenAI前期的资金支持基本都来源于马斯克。但在2018年,特斯拉开始研究将AI技术用于自动驾驶,而刚好OpenAI已经有了显著的技术突破。

马斯克一直把OpenAI这家公司视为自己的所有物,于是他在当时提议,不如把整个公司都交给他来打理——直接把OpenAI并入特斯拉。但这个提议遭到Altman和其他高管的断然拒绝,于是双方切断了联系,马斯克撤走了他全部的投资,在一次全体会议上宣布自己将要离开。

会上,他预言OpenAI将以失败告终,他还称至少有一名研究人员是“蠢货”。

由于公司没有收入,马斯克撤资无疑是一场生存危机。虽然OpenAI正在做的研究是硅谷最时髦的AI,但它是一家非盈利机构,这无疑限制了它融资的吸引力。

2019年3月,OpenAI的高管们想出了一个怪异的办法。在保持非盈利的同时,再创建一个盈利实体。但这个盈利部门的营收有一个上限——这个数字并没有公开,从公司章程推测,可能高达数万亿美元(OpenAI也相信,如果他们的营收真的能达到这个数字,到时候肯定已经做出来可以实际使用的AGI了)。在达到这个上限之后,盈利实体所得的一切都要归还给非盈利的实验室。

于是,凭借新的公司架构,OpenAI成功引入了红杉等多家风险投资机构。但尴尬的是,对OpenAI来说,数十亿美元的风险投资只是微不足道的小数目,AI研发是一个夸张的无底洞。创造大型语言模型的Big Transformer方法需要大型硬件,GPT系列的每一次迭代都需要呈指数级增长的算力,只有少数几家公司有负担的能力。

于是,OpenAI很快锁定了微软。Altman对记者表示,这是因为微软CEO Satya Nadella和CTO Kevin Scott足够有魄力:在花费了20多年时间和数十亿美元建立了一个所谓的尖端AI研究部门之后,承认自己的工作一团糟,然后押注一家成立仅几年的小公司。

微软最初出资10亿美元,以其服务器上的计算时间作为回报。但随着双方信心的增强,交易规模不断扩大。现在,微软已经向OpenAI投入了130亿美元。

微软也为自己争取到了一大笔好处,它不仅拥有OpenAI盈利部门的“非控股股权”——据称是49%,还获得了OpenAI技术独家商业化授权。而且,并且成功让旗下云计算平台Azure成为OpenAI的独家云服务商。换句话说,微软的巨额投资不但争取到了一个强大的合作伙伴,还可以为Azure云服务锁定全球最受欢迎的新客户之一。

此外,根据交易条款,OpenAI最初的一些理想——为所有人提供平等访问权——似乎被丢进了垃圾桶。

在交易的过程里,OpenAI逐渐有了营利性机构的性质,这让一些员工感到反感,几位高管随之离职,他们认为,OpenAI 已经变得过于商业化,偏离了最初的使命。

OpenAI:颠覆一切,也被一切颠覆(组图) - 6

OpenAI的未来

当疯狂的AGI愿景离现实越来越近,Sam Altman和他的团队面临的压力也越来越大,他们既要在每个产品周期内实现革命,又要满足投资者的商业需求,同时还要在激烈的竞争中保持领先。更加关键的是,他们还肩负着防止让AI消灭人类的“准救世主”的使命。

在时代的冲刷下,OpenAI变了很多,唯有建立安全的AGI这一愿景没有改变,仍然在驱动着他们向前。OpenAI的领导者们深信,他们将制造出足够智能、足够安全的AI系统,将人类带入一个难以想象的富饶时代。

本文部分编译自WIRED长文"What OpenAI Really Wants",有删节

今日评论 网友评论仅供其表达个人看法,并不表明网站立场。
最新评论(0)
暂无评论


Copyright Media Today Group Pty Ltd.隐私条款联系我们商务合作加入我们

电话: (02) 8999 8797

联系邮箱: [email protected] 商业合作: [email protected]网站地图

法律顾问:AHL法律 – 澳洲最大华人律师行新闻爆料:[email protected]

友情链接: 华人找房 到家 今日支付Umall今日优选