电脑为什么叫作电脑
很久以前,只需要通过一根细细的电话线,和一只名叫实达之星的拨号上网终端,点击桌面的上网图标, 上网终端会响起一阵熟悉的声音,灯光闪烁一阵,然后,就可以通向外面的世界了。 外面的世界,有一个叫Google Groups的东西,世界各地的人聚集在那里讨论不同的话题。 当Ajax刚刚问世的时候,我需要开发一个基于地图进行标注的网页应用,但是可用的资料太少。 我于是就在Groups上面提问,有网友回答了我的问题,还写了一段示范代码,证明它是能够work的。 后来的通信过程中,他还email了几个mp3文件,是录制的吉它曲,他说他来自意大利,主业是做音乐。
一根细小的电话线,对我对学习和世界的认知,发生了很大的冲击。
后来,深度学习打败了李世石,有一个同事是资深的搜索工程专家,这个事件让他毅然决然地投身到了深度学习领域。 因为做了搜索这么多年,这个事情对他的冲击很大。
我的团队也在随后做了语言对话类的应用,采用的是微博的训练语料和LSTM。当时对话模型的商用场景是智能音箱。 当时相对好一些的是微软小冰。 再后来,随着BERT的出现,感觉看到了NLP的真正曙光。 同时也意味着,之前的算法、技术上的工作,整个业内曾经投入的资源,其实是被抛弃了。
当ChatGPT (2022/11/30)出现以后,几乎每一天的工作我都会用到它,真实地感受到了通过一个对话窗口,我似乎站在了一个团队的基石之上。
俗话说:三个臭皮匠,顶个诸葛亮。大概的意思是,遇事不决,可以和团队成员讨论,大家的意见里面说不定有闪光点。 这个选择,在GPTt出现之前,是对的。在GPT出现之后,工作的模式就被完全改写了。
比如说,在开发当中,遇到了一个网络安全相关的问题,但是团队同事都是工程师出身,没有人有过实际的网络安全方面的经验。 这种情况下,仍然把大家叫到一起来讨论,浪费时间且更危险的是,讨论出的结果和方向很可能是完全错误的。
这种情况之下,默认的解是和GPT讨论,它能够带着专业的行业背景和相关知识,给出你的团队成员给不了的insights。 换句话说,GPT的知识远远超出了个人或者一个团队所能拥有的知识积累。你所要做的,只是抽丝拨茧,问出更好的问题。
每当受益于LLM给出的解决方案的同时,我总是不由自主地想到,这个背后其实是巨大的电力所带来的能量。 第一次工业革命是蒸汽机,第二次工业革命是电力和内燃机,其实时至今日,让人类在“智能”上面提升了一大步的基石,仍然是电力。
以OpenAI GPT3 175B 的参数计,假设训练的显卡是A100,以10,000张的级别,假设训练过程一次成功,用时1个月,消耗的电力约为3000MWH,约为300万度电。Amazon AWS CEO也曾经说过,训练大模型需要的电力供应的级别在1~5GW之间,也即1000~5000 MWH。
在奥特曼打怪兽里面有一集,一个怪兽喜欢跑到高压电线处吸电,所到之处,相应的地区就会发生停电。 LLM这个模型怪兽所需的电量,能够把纽约在用电高峰时间所供应的电力瞬间吸干。 现在,回应你在键盘上敲击的字母的模型,就是用这么多的电力训练出来的,想到这点,我总是有种后背震颤的感觉。这是电力给的文明。
前天的时候,我在笔记本电脑上安装了llama 3.2版本,前后大约只花了5分钟的时间。这个电力怪兽的分身,停留在了电脑的硬盘和内存里面。
从拨号上网到现在,这个时空的穿越才20多年,电脑已今昔相隔。为什么叫电脑,“电脑”这个名称,其实特别好,它就是“电” + “脑”。
这篇短文,原来是打算继续写求导的,开头发了一点感想,结果中间就控制不住写叉了。下一篇再写吧。