（圖片來源：brookings.edu）
通用人工智能（AGI）領(lǐng)域又出一系列重磅消息。
3月29日上午，IEEE的頭版刊登臺(tái)積電董事長(zhǎng)劉德音聯(lián)合撰寫題為《我們?nèi)绾螌?shí)現(xiàn)1萬億個(gè)晶體管GPU》的文章。
劉德音在文中預(yù)測(cè)，半導(dǎo)體技術(shù)的突破給AI技術(shù)帶來重要貢獻(xiàn)。在未來10年，GPU集成的晶體管數(shù)將達(dá)到1萬億。而且，GPU能效性能每2年提高3倍，未來15年（到2040年）內(nèi)，每瓦GPU性能將提高1000倍。
同時(shí)，有消息稱，華人團(tuán)隊(duì)創(chuàng)立的 AI 龍頭Scale AI正在進(jìn)行新一輪融資，估值高達(dá)130億美元，比2021 年的73億美元估值提高近 80%。報(bào)道指，2023年，Scale AI產(chǎn)生超過 6.75 億美元的收入，同比增長(zhǎng)約 150%。
此外，馬斯克還發(fā)布了Grok 1.5，不僅支持長(zhǎng)文本，而且性能“遙遙領(lǐng)先”。
臺(tái)積電董事長(zhǎng)：未來15年，每瓦GPU性能將提高1000倍
在IEEE文章中，臺(tái)積電董事長(zhǎng)劉德音及臺(tái)積電首席科學(xué)家H.-S Philip Wong講述了臺(tái)積電是如何達(dá)成1萬億晶體管芯片的目標(biāo)。
文章指出，從1997年擊敗國際象棋人類冠軍的IBM深藍(lán)超級(jí)計(jì)算機(jī)，到2023年爆火的ChatGPT，再過15年，人工智能（AI）將發(fā)展到可以“合成知識(shí)”（synthesize knowledge）的地步，可以創(chuàng)作詩歌、編寫總結(jié)報(bào)告和計(jì)算機(jī)代碼，甚至可以設(shè)計(jì)集成電路。
GTC 2024大會(huì)上，黃仁勛祭出世界最強(qiáng)GPU——Blackwell B200 ，整整封裝了超2080億個(gè)晶體管。比起上一代H100（800億），B200晶體管數(shù)是其2倍多，AI推理性能直接飆升5倍，運(yùn)行速度提升30倍。
所有這些奇妙的人工智能應(yīng)用都?xì)w功于三個(gè)因素：高效機(jī)器學(xué)習(xí)算法的創(chuàng)新、訓(xùn)練神經(jīng)網(wǎng)絡(luò)的大量數(shù)據(jù)的可用性，以及通過半導(dǎo)體技術(shù)的進(jìn)步實(shí)現(xiàn)節(jié)能計(jì)算的進(jìn)步。
文章內(nèi)容稱，如果AI要以目前的速度發(fā)展下去，它將需要半導(dǎo)體產(chǎn)業(yè)做出更多貢獻(xiàn)。10年內(nèi)，它將需要1個(gè)1萬億晶體管的GPU，也就是說，GPU的設(shè)備數(shù)量是當(dāng)今典型設(shè)備數(shù)量的10倍。
文章稱，CoWoS是臺(tái)積電的硅晶圓上芯片先進(jìn)封裝技術(shù)，目前已在產(chǎn)品中得到應(yīng)用。示例包括英偉達(dá)Ampere和Hopper GPU。Ampere有540億個(gè)晶體管，Hopper有800億個(gè)。從7 nm技術(shù)到更密集的4nm技術(shù)的轉(zhuǎn)變使得在基本相同的面積上封裝的晶體管數(shù)量增加了50%。Ampere和Hopper是當(dāng)今大型語言模型 ( LLM ) 訓(xùn)練的主力，訓(xùn)練ChatGPT需要數(shù)萬個(gè)這樣的處理器。
HBM是對(duì)AI日益重要的另一項(xiàng)關(guān)鍵半導(dǎo)體技術(shù)的一個(gè)例子，通過將芯片堆疊在一起來整合系統(tǒng)的能力，臺(tái)積電稱之為SoIC（system-on-integrated-chips）。
文章預(yù)測(cè)，10年內(nèi)，多芯片GPU將擁有超過1萬億個(gè)晶體管。
那么，所有這些創(chuàng)新的硬件技術(shù)如何提高系統(tǒng)的性能呢？
劉德音在文章中表示，GPU芯片需要節(jié)能性能的指標(biāo)的穩(wěn)步改進(jìn)，比如 EEP 芯片是系統(tǒng)能源效率和速度的綜合衡量標(biāo)準(zhǔn)。過去 15 年來，半導(dǎo)體行業(yè)的能效性能，每?jī)赡昃吞岣吡巳蹲笥摇?/span>
“我們相信這一趨勢(shì)將以歷史速度持續(xù)下去。它將受到多方面創(chuàng)新的推動(dòng)，包括新材料、器件和集成技術(shù)、極紫外（EUV）光刻、電路設(shè)計(jì)、系統(tǒng)架構(gòu)設(shè)計(jì)以及所有這些技術(shù)元素的共同優(yōu)化等。特別是，EEP 的增加將通過我們?cè)诖擞懻摰南冗M(jìn)封裝技術(shù)來實(shí)現(xiàn)。此外，系統(tǒng)技術(shù)協(xié)同優(yōu)化 (STCO)等概念將變得越來越重要，其中 GPU 的不同功能部分被分離到各自的小芯片上，并使用性能最佳和最經(jīng)濟(jì)的技術(shù)來構(gòu)建每個(gè)部分?！?/span>
文章配圖中指出，2025年-2040年之間，每瓦GPU性能將從0.019（Energy-efficient 0.019892 performance，1/femtojoulespicoseconds），提升到126.337，未來15年每瓦GPU效能將提高1000倍。
文章結(jié)論認(rèn)為，在智能時(shí)代，半導(dǎo)體技術(shù)是人工智能新能力和應(yīng)用的關(guān)鍵推動(dòng)者。新的GPU不再受過去的標(biāo)準(zhǔn)尺寸和外形尺寸的限制。新的半導(dǎo)體技術(shù)不再局限于在二維平面上縮小下一代晶體管。整合人工智能系統(tǒng)可以由盡可能多的節(jié)能晶體管、用于專門計(jì)算工作負(fù)載的高效系統(tǒng)架構(gòu)以及軟件和硬件之間的最佳化關(guān)系組成。
“過去 50 年來，半導(dǎo)體技術(shù)的發(fā)展就像走在隧道里一樣。前面的路很清晰，因?yàn)橛幸粭l明確的道路。每個(gè)人都知道需要做什么：縮小晶體管?，F(xiàn)在，我們已經(jīng)到達(dá)隧道的盡頭。從這里開始，半導(dǎo)體技術(shù)將變得更加難以發(fā)展。然而，在隧道之外，還有更多的可能性。我們不再受過去的束縛?！眲⒌乱舯硎?。
Scale AI：估值高達(dá)130億美金，去年收入超 6.75 億美元
3月29日，據(jù)The information報(bào)道，總部位于舊金山的美國 AI 初創(chuàng)企業(yè)Scale AI 正在進(jìn)行新一輪數(shù)億美元的融資，風(fēng)險(xiǎn)投資公司 Accel有望領(lǐng)投，投資估值達(dá)到約 130 億美元，比2021 年的73億美元估值提高近 80%。
報(bào)道還稱，Scale AI公司2023年的營(yíng)收超過6.75億美元，比2022年增長(zhǎng)約150%。
報(bào)道稱，本輪融資尚未最終敲定，條款可能會(huì)有變化。Accel 的發(fā)言人拒絕發(fā)表評(píng)論，Scale AI 的代表沒有回復(fù)置評(píng)請(qǐng)求。
Scale AI 首席執(zhí)行官 Alexandr Wang（圖片來源：ZeeBiz WebDesk）
公開資料顯示，Scale AI成立于2016年，主要為 AI 訓(xùn)練提供數(shù)據(jù)服務(wù)，創(chuàng)始人為華裔青年Alexandr Wang。據(jù)報(bào)道，Alexandr Wang的父母均為物理學(xué)家。他從小就表現(xiàn)出了杰出的數(shù)理天賦與才能，曾被麻省理工大學(xué)錄取，但在出色地完成第一年學(xué)業(yè)后便選擇了輟學(xué)創(chuàng)業(yè)，與Lucy Guo共同創(chuàng)辦了Scale AI。
值得注意的是，Scale AI創(chuàng)業(yè)初期就得到了創(chuàng)業(yè)孵化公司Y Combinator的支持。彼時(shí)，Y Combinator的總裁為山姆·奧特曼，也即OpenAI的聯(lián)合創(chuàng)始人及現(xiàn)任首席執(zhí)行官。
Scale AI主要從事的AI訓(xùn)練數(shù)據(jù)標(biāo)注，通俗理解，就是通過分類、畫框、標(biāo)注、注釋等對(duì)圖片、語音、文本、視頻等原始的數(shù)據(jù)進(jìn)行處理，標(biāo)記對(duì)象的特征，以作為機(jī)器學(xué)習(xí)基礎(chǔ)素材。比如，如果要訓(xùn)練AI識(shí)別出圖片中的狗，則需要采集大量有關(guān)于狗的圖片，將其中的關(guān)鍵信息標(biāo)注出來，供AI識(shí)別，在多次識(shí)別的過程中讓AI形成識(shí)別各式各樣的狗的能力。
Scale AI從創(chuàng)立至今，融資過程可謂順風(fēng)順?biāo)?，而且融資金額節(jié)節(jié)攀升。創(chuàng)辦伊始，Y Combinator向其提供了12萬美元的投資；2017年，獲得了450萬美元的A輪融資；2018年，成功完成1800萬美元的B輪融資；2019年，再獲1億美元C輪融資；2021年1月，完成1.5億美元D輪融資；同年4月，順利完成3.25億美元E輪融資。至此，Scale AI用5年的時(shí)間將估值水平提升至73億美元的水平，成為AI數(shù)據(jù)標(biāo)注領(lǐng)域的獨(dú)角獸。
Scale AI 通過向 OpenAI 和其他對(duì)話式人工智能初創(chuàng)公司銷售服務(wù)而獲得了發(fā)展。報(bào)道稱，本輪融資將為公司未來幾年可能的IPO做準(zhǔn)備。目前尚不清楚還有哪些投資者參與了本輪投資。
不過，目前，Scale AI公司估值依然低于OpenAI。本周二，Accel 的合伙人 Rich Wong 表示，該公司對(duì) Scale AI 這樣的 "鋤頭和鏟子 "企業(yè)更感興趣。
“它是數(shù)據(jù)引擎，是許多基礎(chǔ)企業(yè)以及試圖為其垂直應(yīng)用進(jìn)行調(diào)整的企業(yè)的模型背后的數(shù)據(jù)引。我們認(rèn)為，將成為重要客戶的將遠(yuǎn)不止五大模式?！盧ich Wong表示。
馬斯克發(fā)布Grok 1.5
在Grok 1開源十天后，馬斯克創(chuàng)立的xAI宣布推出其大模型最新版本 Grok 1.5。
事實(shí)上，為了尋求替代微軟支持的 OpenAI 和 Google 大模型的解決方案，馬斯克去年創(chuàng)立了 AI 公司 xAI，以創(chuàng)建他所說的“最大程度尋求真相的人工智能” 。2023年 12 月，xAI 為 X 的 Premium+ 訂閱者推出了 Grok。
如今，馬斯克更新到Grok 1.5模型。新一代模型實(shí)現(xiàn)了長(zhǎng)上下文理解和高級(jí)推理能力，計(jì)劃將在未來幾天內(nèi)向早期測(cè)試人員和 X 平臺(tái)（前 Twitter）上的現(xiàn)有 Grok 用戶提供。
具體來說，首先，Grok-1.5 最明顯的改進(jìn)之一是其在代碼和數(shù)學(xué)相關(guān)任務(wù)中的性能。在 xAI 的測(cè)試中，Grok-1.5 在 MATH 基準(zhǔn)上取得了 50.6% 的成績(jī)，在 GSM8K 基準(zhǔn)上取得了 90% 的成績(jī)，這兩個(gè)數(shù)學(xué)基準(zhǔn)涵蓋了廣泛的小學(xué)到高中的競(jìng)賽問題。同時(shí)，它在評(píng)估代碼生成和解決問題能力的 HumanEval 基準(zhǔn)測(cè)試中得分為 74.1%。
其次，Grok-1.5 中的另一個(gè)重要升級(jí)是在其上下文窗口內(nèi)可以處理多達(dá) 128K token 的長(zhǎng)上下文。這使得 Grok 的容量增加到之前上下文長(zhǎng)度的 16 倍，從而能夠利用更長(zhǎng)文檔中的信息。
再次，該模型還可以處理更長(zhǎng)、更復(fù)雜的提示（prompt），同時(shí)在上下文窗口擴(kuò)展時(shí)仍然能保持其指令跟蹤能力。在大海撈針（NIAH）評(píng)估中，Grok-1.5 展示了強(qiáng)大的檢索能力，可以在長(zhǎng)度高達(dá) 128K token 的上下文中嵌入文本，實(shí)現(xiàn)完美的檢索結(jié)果。
最后，xAI 介紹了用于訓(xùn)練模型的算力設(shè)施。Grok-1.5 構(gòu)建在基于 JAX、Rust 和 Kubernetes 的自定義分布式訓(xùn)練框架之上。該訓(xùn)練堆棧允許開發(fā)團(tuán)隊(duì)能夠以最小的精力構(gòu)建想法原型并大規(guī)模訓(xùn)練新架構(gòu)。而在大型計(jì)算集群上訓(xùn)練 LLM 的主要挑戰(zhàn)是最大限度提高訓(xùn)練作業(yè)的可靠性和正常運(yùn)行時(shí)間。xAI 提出的自定義訓(xùn)練協(xié)調(diào)器可確保自動(dòng)檢測(cè)到有問題的節(jié)點(diǎn)，并將其從訓(xùn)練作業(yè)中剔除。工程師還優(yōu)化了檢查點(diǎn)、數(shù)據(jù)加載和訓(xùn)練作業(yè)重新啟動(dòng)等問題，以最大限度地減少發(fā)生故障時(shí)的停機(jī)時(shí)間。
xAI 表示，Grok-1.5 很快就會(huì)向早期測(cè)試者開放，其團(tuán)隊(duì)將繼續(xù)改進(jìn) Grok。隨著新版本推向公眾，在未來幾天 X 上的大模型將陸續(xù)推出一些新功能。
