首页 关于创新的一点思考(上):站在巨人的肩膀上
文章
取消

关于创新的一点思考(上):站在巨人的肩膀上

最近了解OpenAI的chatGPT时,发现它是基于Google在2017年推出的Transformer模型的。chatGPT中的GPT含义就是生成预训练转换器Generative Pre-trained Transformer)。Transformer模型是一种采用自注意力机制的深度学习模型。而深度学习自首次提出以来已经发展了数十年,真正兴起则是本世纪的事情了,它是基于神经网络的一种机器学习技术。而神经网络首次被提出,要更早,是在上世纪四十年代。到被引入人工智能领域,是上世纪八九十年代的事情了。机器学习也是上世纪五十年代就被提出了。

这篇文章并不是要介绍上边提到的任何一个术语,因为在人工智能领域,我完全是一个门外汉,对这些知识也并不了解。现在我所知道的仅仅是,这半年来,风靡世界的chatGPT其实是在这么多日积月累的人类创新成果中诞生出来的。正如牛顿所说,是“站在巨人的肩膀上”。

实际上,如果把目光放到人工智能领域以外,你会发现chatGPT能诞生,还要依赖很多其它领域的大发展。例如,OpenAI主要使用了微软的Azure等云服务提供商的服务来进行GPT模型的训练和海量数据的处理。而云服务的概念是伴随着九十年代互联网的兴起而被提出的,并随着PC互联网、移动互联网的快速发展而壮大。

另外,GPU技术的发展也是至关重要的。当前因为chatGPT的大放异彩而涌入大语言模型赛道的人们,都在争抢英伟达的GPU。因为没有足够的GPU,就不能以较快的速度和较低的成本进行大模型的训练。在今年3月份的英伟达春季GTC大会上,CEO黄仁勋说,“当前唯一可以实际处理ChatGPT的GPU是英伟达HGX A100。与前者相比,现在一台搭载四对H100和双NVLINK的标准服务器速度能快10倍,可以将大语言模型的处理成本降低一个数量级。”

还有一则关于英伟达和OpenAI的趣事发生在2016年。当时萨姆·阿尔特曼(时任YC总裁,现任OpenAI CEO)和埃隆·马斯克(现任特斯拉、Space X和推特CEO)等人刚刚成立发起了Open AI,旨在促进和发展友好的人工智能,使人类整体受益。而英伟达当时已经在进行专用于AI领域的GPU技术研究了。黄仁勋就向刚成立不到一年的OpenAI捐赠了一台AI超算机DGX-1,以展示英伟达的GPU在AI算力上的独特优势:这台特制机器的算力可以把当时OpenAI 一年的训练时间压缩到一个月。

合照

在机箱上,黄仁勋写下了这样一段话:

“给埃隆和Open AI团队。为了计算和人类的未来,我捐出世界上第一台DGX-1。”

机箱寄语

把视线转移到chatGPT以外,其实我们可以发现,历史上很多对世界产生重大影响的创新其实都不是凭空诞生的。而是“站在巨人的肩膀上”,在吸收、借鉴前人的创新成果后增加自己的创新,从来产生巨大的突破。简单举几个例子:

造纸术:蔡伦改良造纸术,大大地促进了信息的流动和文化的传播。但造纸术并不是蔡伦发明的。当时蔡伦在宫中担任尚方令,监督宫廷物品的制作。这个工作使得他有机会能够在前人的基础上改良造纸术,大大降低了造纸的成本。

蒸汽机:我们在中学课本里都学过,是瓦特改良了蒸汽机,提高了蒸汽机的效率。最终在包括瓦特在内的很多人的创新助力下,人类迎来了第一次工业革命。

iPhone:毋庸置疑,iPhone是一个划时代的伟大产品。以iPhone为代表的智能手机诞生之后,人类迅速从PC互联网时代过渡到了移动互联网时代。在短短的数年时间里,数十亿人的生活发生了巨大的变化。回到2007年初代iPhone发布会,时任Apple公司CEO的乔布斯展示初代iPhone的时候,人们都被其巨大的屏幕和神奇的多点触控技术所带来的全新人机交互体验所震撼。

iPhone

但实际上,iPhone所采用的支持多点触控的触摸屏等并不是Apple公司的团队首先发明出来的(维基百科显示:多点触控技术起源于1982年由多伦多大学发明的感应食指指压的多点触控屏幕。同年贝尔实验室发表了首份探讨触控技术的学术文献)。Apple公司的团队在业界已有技术的基础上,注入了自己的创新,使这些技术第一次可以被整合到一部手机中,并面向消费者。对于手机来说,软件设计和人机交互方式也是至关重要的。如今我们习以为常的“双指滑动放大和缩小照片/页面”的技术虽然在初代iPhone发布会上惊艳了世人,但其实这项技术是2006年由美国的Fingerworks公司研发出来的。不过后来,Apple收购了这家公司。

比特币:比特币也是本世纪影响巨大的一项创新,人类第一次创造出了一种被广泛接受的数字货币。它不是黄金、白银那种金属货币,因为在大自然中含量稀少而被人类认可其价值。也不是英镑、美元那种法定货币,由政府背书,通过立法因而被人认可价值。比特币能被认可价值,源自于它依赖的是一个由数学、加密技术和一个精心设计的经济模型所支撑的去中心化网络。但比特币的提出者,中本聪,并不是比特币中所有涉及到的技术的发明者。我们查看比特币白皮书末尾的参考列表就能发现这一点。中本聪最大的贡献在于提出了工作量证明(POW),由此解决了“拜占庭将军”问题,使得在一个去中心化的网络中,各个节点达成共识成为可能。所以比特币才能成为数字货币的第一种真正可行的解决方案。

在过去的成千上万年中,人类文明就是这么一步一步走来的:一代又一代的人,在学习前人优秀成果的基础上,加入自己思想的火花,然后产生突破性的创新,最终带领人类更前一步。而现在人类文明的知识已经浩如烟海,任何人穷其一生都不可能学完。不过我们并不用太担心创新会因此而停滞下来。因为我们拥有了AI。对于拥有无限时间、海量计算和存储能力的AI来说,人类知识库并不是一座不能逾越的高峰。或许在不远的将来,我们就会在AI的协助下,攻克癌症、贫穷等终极难题,从而让人类的生活更加美好。

愿我们永远像一个孩子一样,充满好奇心,不怀偏见,真诚对人,儿童节快乐!

本文由作者按照 CC BY 4.0 进行授权

只有深入到源码级别的底层,才能一窥事物的本质

关于创新的一点思考(下):没有什么是一蹴而就的