自半導體出現,為電子產品定下重要基石,也為科技和文明帶來飛躍的進步。而半導體行業有一金科玉律在近60年前由Intel創辦人Gordon Moore所提出的摩爾定律Moore’s law 。時至今日, ChatGPT之父Sam Altman又持另一想法,就住AI時代提出了新版摩爾定律。
OpenAI CEO Sam Altman「ChatGPT之父」在twitter發文提出新版摩爾定律,指全球AI的運算量每隔18個月就會提升一倍。雖然內文並無詳細解釋,但仍有已引起不少網民留言及過千個retweet 。
a new version of moore’s law that could start soon:the amount of intelligence in the universe doubles every 18 months
— Sam Altman (@sama)February 26, 2023
回到1965年,當時身為快捷半導體工程師的Gordon Moore的文章在電子學雜誌發布,文章預言每隔18個月,半導體晶片上的電晶體和電阻數量就會以倍數增長,後來被稱為摩爾定律Moore’s law。後續在1975年又再提交論文,將時間間隔修正為24個月,即是每兩年半導體晶片密度增加一倍,同時成本降低一半。
而ChatGPT目前正使用GPT-3 Model ,有過萬億的參數,並積累了1億用戶,每日活動超過1300萬。訓練階段時總算力消耗大約3640 PF-days(即1PetaFLOP/s效率運行3640天),成本預計在每次500萬美元。
未來若提升到GPT-4 Model將會有100萬億參數, 但運算性能需要進一步的指數級提升。
數據源:Twitter