153-0773-3338
芯東西9月19日?qǐng)?bào)道，9月14日-15日，2023全球AI芯片峰會(huì)（GACS 2023）在深圳市南山區(qū)圓滿舉行。繼首日開幕式及AI芯片創(chuàng)新專場火熱開場（《云邊端AI芯片熱戰(zhàn)大模型！2023全球AI芯片峰會(huì)首日干貨》），峰會(huì)次日演講繼續(xù)輸出密集干貨滿載，在上午場的最后一個(gè)環(huán)節(jié)，2023中國AI芯片先鋒企業(yè)TOP30和2023中國AI芯片新銳企業(yè)TOP10評(píng)選結(jié)果正式公布。
▲2023中國AI芯片先鋒企業(yè)TOP30
▲2023中國AI芯片新銳企業(yè)TOP10
2023全球AI芯片峰會(huì)由智一科技旗下芯東西聯(lián)合智猩猩發(fā)起主辦，在南山區(qū)科技創(chuàng)新局的指導(dǎo)下以“AI大時(shí)代 逐鹿芯世界”為主題，設(shè)置七大板塊，主會(huì)場包括開幕式和AI芯片架構(gòu)創(chuàng)新、AI大算力芯片和高能效AI芯片三大專場；分會(huì)場包括首次增設(shè)的集成電路政策交流會(huì)、AI芯片分析師論壇、智算中心算力與網(wǎng)絡(luò)高峰論壇。
在第二天的AI大算力芯片論壇、高能效AI芯片論壇上，上海交通大學(xué)計(jì)算機(jī)科學(xué)與工程系教授梁曉峣發(fā)表開場演講，隨后來自英特爾Habana、壁仞科技、千芯科技、Graphcore、中科加禾、芯和半導(dǎo)體、云天勵(lì)飛、知存科技、諾磊科技、邁特芯、肇觀電子、智芯科、原粒半導(dǎo)體、九天睿芯等15家頂尖AI芯片企業(yè)及新銳企業(yè)的創(chuàng)始人、技術(shù)決策者及高管分別發(fā)表主題演講，分享前沿研判與最新實(shí)踐。
通過峰會(huì)次日的嘉賓分享和觀點(diǎn)碰撞，我們看到大多數(shù)AI芯片企業(yè)都在積極備戰(zhàn)生成式AI與大模型浪潮帶來的時(shí)代機(jī)遇，嘉賓分享的議題焦點(diǎn)可以歸納為幾個(gè)關(guān)鍵詞：生成式AI、NVIDIA、GPGPU、落地挑戰(zhàn)、架構(gòu)創(chuàng)新、存算一體。
無論是大算力AI芯片還是高能效AI芯片，都面臨存儲(chǔ)墻、功耗墻等共通的傳統(tǒng)架構(gòu)痼疾，也正分別從核心應(yīng)用場景的迫切之需出發(fā)，通過廣聯(lián)生態(tài)伙伴、優(yōu)化軟硬協(xié)同，更大程度挖掘芯片性能的潛能，探索不依賴先進(jìn)制程來實(shí)現(xiàn)性能提升、能效提升的新路徑、新解法。
大模型落地進(jìn)程已經(jīng)提速，但其與算力供應(yīng)之間的差距目前沒有被彌合，國產(chǎn)大算力芯片正在通過不同的技術(shù)路徑發(fā)起沖鋒，提高芯片能效比的同時(shí)加速大模型落地。
1、GPGPU加速大模型訓(xùn)練，用開源解決人、錢、時(shí)間難題
上海交通大學(xué)計(jì)算機(jī)科學(xué)與工程系教授梁曉峣談道，大家在AI大時(shí)代淘金，賣鏟子的NVIDIA“賺錢賺的最多”。他認(rèn)為，包含CUDA Core和Tensor core（張量計(jì)算核心）的V100這代GPGPU，幫助NVIDIA奠定AI時(shí)代算力基座的行業(yè)地位。當(dāng)谷歌、特斯拉等芯片公司拿出比NVIDIA更有效的矩陣計(jì)算方式后，NVIDIA為了鞏固自己在人工智能時(shí)代的霸主地位，在數(shù)制、稀疏性、互聯(lián)、內(nèi)存帶寬等方面進(jìn)行了多項(xiàng)革新。此外，NVIDIA構(gòu)建的涵蓋編程語言、運(yùn)行環(huán)境等完善的軟件生態(tài)是讓芯片好用的“護(hù)城河”。
芯片生態(tài)從軟件廠商圍繞核心芯片（架構(gòu)）開發(fā)“領(lǐng)域?qū)Ｓ密浖卑l(fā)展到芯片廠商圍繞核心軟件（框架）開發(fā)“領(lǐng)域?qū)Ｓ眯酒?，直到現(xiàn)在芯片廠商和大模型公司圍繞核心應(yīng)用開發(fā)“領(lǐng)域?qū)Ｓ孟到y(tǒng)”。梁曉峣提到，當(dāng)競爭對(duì)手領(lǐng)先時(shí)，可以用開源的方式解決資金、人才和時(shí)間的問題。開源也被證明是當(dāng)對(duì)手特別強(qiáng)大時(shí)，較為有效的突圍方式。
去年，梁曉峣團(tuán)隊(duì)推出自研開源GPGPU平臺(tái)“青花瓷”，支持大規(guī)模并行通用計(jì)算。梁曉峣解釋道，說的直接點(diǎn)就是除了游戲，希望NVIDIA的芯片能做的“青花瓷”都能做，同時(shí)還特別重視對(duì)NVIDIA GPGPU產(chǎn)品的兼容。他補(bǔ)充說，“青花瓷”平臺(tái)完全免費(fèi)開放，這一平臺(tái)最主要目的是為行業(yè)提供GPGPU架構(gòu)參考設(shè)計(jì)，開放給企業(yè)、高校進(jìn)行基礎(chǔ)研究、實(shí)踐平臺(tái)、突破創(chuàng)新。
▲上海交通大學(xué)計(jì)算機(jī)科學(xué)與工程系教授梁曉峣
在產(chǎn)業(yè)界，壁仞科技也認(rèn)同高性能GPGPU是訓(xùn)練GPT大模型的關(guān)鍵。一方面，大模型在計(jì)算機(jī)體系結(jié)構(gòu)中面臨計(jì)算、通信、存儲(chǔ)、并行擴(kuò)展、穩(wěn)定可靠五大挑戰(zhàn)；另一方面，還要解決用戶視角下，存得下、易擴(kuò)展、易使用三大“溫飽”需求，以及高性能、低成本、低延時(shí)三大“小康”需求。
針對(duì)這些挑戰(zhàn)和需求，壁仞科技打造了面向大模型的軟硬一體全棧優(yōu)化的解決方案，包括高性能集群、機(jī)器學(xué)習(xí)平臺(tái)suCloud、加速庫、訓(xùn)練框架和推理引擎、超大模型框架、算法/應(yīng)用六層架構(gòu)。壁仞科技系統(tǒng)架構(gòu)副總裁丁云帆談道，高性能通用GPU是訓(xùn)練GPT大模型的關(guān)鍵算力基礎(chǔ)，互聯(lián)帶寬/拓?fù)涫侵蜧PT大模型分布式高效擴(kuò)展的關(guān)鍵，基于自研BR104 GPU的主流量產(chǎn)產(chǎn)品壁勵(lì)104，壁仞科技可構(gòu)建千卡GPU集群，并結(jié)合大模型分布式策略優(yōu)化助力大模型創(chuàng)新落地。另外壁仞科技還與產(chǎn)業(yè)界的框架、模型伙伴、科研機(jī)構(gòu)、高校等緊密合作打造大模型產(chǎn)學(xué)研用生態(tài)。
▲壁仞科技系統(tǒng)架構(gòu)副總裁丁云帆
2、傳統(tǒng)架構(gòu)難突破帶寬、成本瓶頸，大模型時(shí)代亟需超越GPU新架構(gòu)
“大模型本質(zhì)是對(duì)知識(shí)的壓縮和對(duì)輸入的反饋，即存算一體、以存代算?！鼻究萍级麻L陳巍談道，“LLM/MLM的開源資源、部署訓(xùn)練架構(gòu)、算力成本成為大模型應(yīng)用落地和企業(yè)盈虧的關(guān)鍵分水嶺。”
陳巍介紹了幾種典型的商用大模型存算一體架構(gòu)落地情況，并指出”特斯拉的Dojo芯片使用了近存計(jì)算架構(gòu)優(yōu)化數(shù)據(jù)通道，或是為大模型量身定制“，”微軟三星等科技巨頭正在投資存算一體芯片企業(yè)“。
Habana中國區(qū)負(fù)責(zé)人于明揚(yáng)一上臺(tái)便放話：演講不摻廣告，都是真實(shí)體驗(yàn)。“我們認(rèn)為，每個(gè)Billion（十億）的參數(shù)規(guī)模，在有限時(shí)間范圍內(nèi)要把訓(xùn)練做好，基本需要的算力大概在16卡?！?/p>
他談到大模型給硬件層帶來壓力，對(duì)單卡的算力、內(nèi)存、服務(wù)器互聯(lián)方案、集群長時(shí)間穩(wěn)定運(yùn)行等提出更高要求。在大模型發(fā)展過程中，上層框架及軟件生態(tài)扮演的角色越來越重要。傳統(tǒng)模型很大程度需要CUDA的資源進(jìn)行訓(xùn)練，但大模型時(shí)代更多強(qiáng)調(diào)高層框架軟件生態(tài)——如何解決集群管理與穩(wěn)定性、訓(xùn)練過程中的并行化要求等。
于明揚(yáng)總結(jié)了面向大模型高效訓(xùn)練和推理的一些選擇，包括計(jì)算速度、高速存儲(chǔ)、高擴(kuò)展性、易用性、高能效、高性價(jià)比。在大模型時(shí)代，企業(yè)如果能很好地針對(duì)框架做優(yōu)化，有機(jī)會(huì)繞開CUDA生態(tài)墻，打破NVIDIA在市場上一家獨(dú)大的局面。
▲Habana中國區(qū)負(fù)責(zé)人于明揚(yáng)
GPU、CPU之外，英國芯片公司Graphcore（擬未科技）提出了IPU架構(gòu)，支持FP8浮點(diǎn)運(yùn)算，基于此來應(yīng)對(duì)對(duì)話式AI的時(shí)延、應(yīng)用成本與能耗的挑戰(zhàn)。早在2018年，AI教父Geoff Hinton就看到了IPU架構(gòu)的潛力，他在接受采訪時(shí)以Graphcore的IPU芯片為例，大力倡導(dǎo)為構(gòu)建功能更像大腦的機(jī)器學(xué)習(xí)系統(tǒng)轉(zhuǎn)向不同類型的計(jì)算機(jī)。
Graphcore中國區(qū)產(chǎn)品總負(fù)責(zé)人朱江提到，IPU采用了大規(guī)模并行的多指令多數(shù)據(jù)架構(gòu)，并極大地?cái)U(kuò)展了片上SRAM的大小，使得片內(nèi)存儲(chǔ)吞吐量達(dá)到65TB/s。這樣大規(guī)模的片上存儲(chǔ)和分布式設(shè)計(jì)，可以極大地提高訪存帶寬和內(nèi)存訪問效率，有力地幫助客戶打破內(nèi)存墻的瓶頸。IPU的獨(dú)特設(shè)計(jì)還使其實(shí)現(xiàn)了高效的訪存能耗。同樣是搬運(yùn)一個(gè)byte的數(shù)據(jù)，CPU大概需要消耗320pJ，GPU大概需要64pJ，而IPU大概需要1pJ。此外，Graphcore推出的Bow IPU還采用了WoW的先進(jìn)封裝，并在支持?jǐn)?shù)據(jù)類型上進(jìn)行了投入，成為業(yè)內(nèi)最早支持FP8精度的硬件之一。
▲Graphcore中國區(qū)產(chǎn)品總負(fù)責(zé)人朱江
3、產(chǎn)業(yè)鏈創(chuàng)新：編譯器+EDA平臺(tái)，提高AI芯片適配性
大模型應(yīng)用與算力之間的差距，加速了企業(yè)在兩者間構(gòu)建“橋梁”，縮小其中差距的步伐。
中科加禾創(chuàng)始人崔慧敏認(rèn)為，大模型讓國產(chǎn)AI芯片面臨的生態(tài)困境更加凸顯，編譯器成為一大破解之道。簡單來說，編譯器是用于將機(jī)器語言翻譯為人類語言的工具，在AI芯片產(chǎn)業(yè)鏈中，相當(dāng)于AI芯片與AI用戶之間的“橋梁”。
在GPU時(shí)代，編譯器大家主要使用的是NVIDIA的CUDA編譯器。隨著AI時(shí)代到來，編譯器的內(nèi)涵和外延進(jìn)一步擴(kuò)大，涉及了圖、張量、指令、圖算融合等不同層面的編譯。
大模型時(shí)代，編譯器能夠促進(jìn)芯片性能提升、跨平臺(tái)優(yōu)化及安全性增強(qiáng)。崔慧敏談道，在性能方面，編譯技術(shù)可以發(fā)掘更激進(jìn)的融合策略，進(jìn)一步全局對(duì)計(jì)算、同步進(jìn)行重排優(yōu)化，為模型推理側(cè)帶來最高2~3倍的性能提升；在跨平臺(tái)方面，中科加禾認(rèn)為基于機(jī)器模型可以有效支撐編譯優(yōu)化的跨平臺(tái)表現(xiàn)；在安全方面，編譯技術(shù)能以很低的開銷來實(shí)現(xiàn)軟件TEE，增強(qiáng)安全性。
目前，中科加禾正聚焦搭建對(duì)不同芯片都適用的工具集，通過組件化服務(wù)助力AI芯片完成生態(tài)遷移等目標(biāo)，并計(jì)劃在2023年12月推出跨平臺(tái)大模型推理引擎。
▲中科加禾創(chuàng)始人崔慧敏
單芯片SoC向新型“SoC”（System of Chiplets）架構(gòu)演進(jìn)過程中，芯和半導(dǎo)體產(chǎn)品應(yīng)用總監(jiān)蘇周祥談道，Chiplet對(duì)單顆SoC的拆分、組合和架構(gòu)規(guī)劃問題，給傳統(tǒng)的設(shè)計(jì)流程帶來了很大的挑戰(zhàn)。
他認(rèn)為，Chiplet從系統(tǒng)最初的設(shè)計(jì)到最終的嵌合簽核，都需要新的工具、新的思路和新的方法學(xué)。芯和半導(dǎo)體給出的答案是一個(gè)圍繞Chiplet產(chǎn)業(yè)的全新EDA平臺(tái)，蘇周祥說道，全新平臺(tái)需要支持系統(tǒng)級(jí)連接、堆棧管理、層次化設(shè)計(jì)，還需要在物理實(shí)現(xiàn)方面協(xié)同設(shè)計(jì)環(huán)境、支持各領(lǐng)域的工具、多芯片3D布局規(guī)劃和布線。
因此，芯和半導(dǎo)體推出專為3DIC Chiplet量身定做的仿真全流程EDA平臺(tái)，這是一個(gè)針對(duì)Chiplet的完整的包括設(shè)計(jì)、SI/PI/多物理場分析的解決方案。該平臺(tái)擁有AI驅(qū)動(dòng)的網(wǎng)格剖分技術(shù)，以及云計(jì)算加載的分布式并行計(jì)算能力，還支持裸芯片、中介層和基板的聯(lián)合仿真引擎技術(shù)。
▲芯和半導(dǎo)體產(chǎn)品應(yīng)用總監(jiān)蘇周祥
大模型強(qiáng)大的內(nèi)容生成、理解能力，使得其在云邊端的多類型應(yīng)用場景出現(xiàn)，不同場景為高能效AI芯片提出了新要求。邊緣AI芯片對(duì)低功耗、高性能的需求增長；大模型對(duì)容量和帶寬既要又要，存算一體芯片的存儲(chǔ)介質(zhì)如何選擇。
這一背景下，高能效AI芯片的發(fā)展呈現(xiàn)出三大趨勢，分別是為大模型構(gòu)建低功耗AI網(wǎng)絡(luò)，通過存內(nèi)計(jì)算突破功耗墻和存儲(chǔ)墻問題，以及邊緣端的智能視覺處理芯片需求增長。
1、算力方案構(gòu)建低功耗AI網(wǎng)絡(luò)，大小模型或在云邊端協(xié)同進(jìn)化
智芯科聯(lián)合創(chuàng)始人&CEO顧渝驄談道，大模型發(fā)展會(huì)面臨兩方面瓶頸，大數(shù)據(jù)和大模型所產(chǎn)生的顯存墻問題（模型是否能跑起來）以及計(jì)算墻（能否在合理時(shí)間內(nèi)完成推理）問題。他認(rèn)為，存內(nèi)計(jì)算是解決這兩大難題的有效解法，相比于GPU能更有效地利用數(shù)據(jù)，降低功耗；更高效地讀取寫入數(shù)據(jù)；集成存儲(chǔ)和計(jì)算，提供更大內(nèi)存容量。智芯科計(jì)劃基于精度無損SRAM的存內(nèi)計(jì)算CIM推出針對(duì)大模型的900系列芯片，有望替代NVIDIA在專有云、推理側(cè)的應(yīng)用。
大模型帶來的算力爆發(fā)遠(yuǎn)超摩爾定律，同時(shí)大功耗算力設(shè)施帶來的碳排放量巨大，因此，邁特芯希望做一款低功耗芯片，把功耗降下來。邁特芯基于立方脈動(dòng)并行架構(gòu)的存算芯片來滿足大模型部署。邁特芯創(chuàng)始人兼CEO黃瀚韜談道，通過用更低的bit來表示GPT-3的主要數(shù)據(jù)，可以將大模型參數(shù)規(guī)模變小，邁特芯可在ChatGLM2-6B大模型上用INT4和INT2算力，達(dá)到跟ChatGLM2-6BFP16相當(dāng)?shù)耐评硭健Ｔ诩軜?gòu)方面，邁特芯針對(duì)大模型算法搭建立方單元架構(gòu)，通過立方脈動(dòng)陣列實(shí)現(xiàn)高強(qiáng)度并行計(jì)算，其解決方案能兼顧高通量和低功耗。
▲邁特芯創(chuàng)始人兼CEO黃瀚韜
在原粒半導(dǎo)體聯(lián)合創(chuàng)始人原鋼看來，隨著大模型蒸餾技術(shù)發(fā)展，超大模型可以生成一系列適合邊端的小模型，取得接近于大模型的效果。原粒半導(dǎo)體基于AI Chiplet把SoC算力跟NPU（神經(jīng)網(wǎng)絡(luò)處理器）的AI算力解綁，再靈活組合出邊緣端芯片，以適配邊緣端大模型的推理要求。目前，原粒半導(dǎo)體已研發(fā)出多模態(tài)算力核心CalCore技術(shù)，支持企業(yè)將大模型部署在端側(cè)；以及自適應(yīng)算力融合CalFusion技術(shù)，自動(dòng)分配芯粒以捆綁不同的算力。
▲原粒半導(dǎo)體聯(lián)合創(chuàng)始人原鋼
全球邊緣計(jì)算市場規(guī)模不斷擴(kuò)大，但因場景、芯片平臺(tái)、算力需求碎片化等痛點(diǎn)使得其算法投入產(chǎn)出往往不成正比，這有望依托于大模型強(qiáng)大的圖像、語言理解、場景泛化能力得到突破。同時(shí)，云天勵(lì)飛副總裁、芯片業(yè)務(wù)線總經(jīng)理李愛軍提到，邊緣計(jì)算芯片設(shè)計(jì)需要考慮SoC集成、算力可靈活擴(kuò)展芯片架構(gòu)、統(tǒng)一的工具鏈架構(gòu)、隱私保護(hù)等方面因素。云天勵(lì)飛基于其自研算法開發(fā)平臺(tái)和算法芯片化平臺(tái)，訓(xùn)練了“云天書”大模型，推出內(nèi)置云天勵(lì)飛第四代神經(jīng)網(wǎng)絡(luò)處理器的新一代邊緣計(jì)算芯片DeepEdge10，能滿足大模型部署需要。
▲云天勵(lì)飛副總裁、芯片業(yè)務(wù)線總經(jīng)理李愛軍
2、多存儲(chǔ)介質(zhì)方案迸發(fā)，存算一體突破功耗、存儲(chǔ)瓶頸
當(dāng)前大模型對(duì)容量和帶寬既要又要，存算一體芯片正處于多種存儲(chǔ)介質(zhì)百花齊放的格局。
千芯科技將不同類型存儲(chǔ)器融合到統(tǒng)一存算架構(gòu)（UMCA），可為客戶的應(yīng)用場景提供SRAM、Flash、RRAM多種存算芯片方案；通過多處理器融合，使存算一體保持大算力高能效，同步獲得CPU、GPGPU的通用生態(tài)能力。其存算一體架構(gòu)不依賴先進(jìn)工藝，可基于成熟工藝達(dá)到先進(jìn)算力；并提供芯片級(jí)算法壓縮技術(shù)，方便大模型客戶無感使用量化剪枝稀疏等壓縮技術(shù)來達(dá)到降本增效的目標(biāo)。
▲千芯科技董事長陳巍
智芯科聚焦的是SRAM，智芯科聯(lián)合創(chuàng)始人&CEO顧渝驄提到，他們將推出針對(duì)大模型的900系列，該系列可以提供1000-2000TOPS的算力，為邊緣側(cè)大模型推理提供算力，功耗為150W，采用12nm制程，價(jià)格遠(yuǎn)低于NVIDIA。
此外還有推出基于SRAM純數(shù)字及模數(shù)混合架構(gòu)的多重融合存內(nèi)計(jì)算技術(shù)的九天睿芯。九天睿芯副總裁袁野談道，AIGC在內(nèi)容生成之外，還帶來AR/VR、具身智能、外部感知信號(hào)鏈等的全面升級(jí)，其采用的混合架構(gòu)模式，能實(shí)現(xiàn)有效精度計(jì)算，CIMD（純數(shù)字存內(nèi)計(jì)算)+CIMX(模數(shù)混合純內(nèi)計(jì)算）兩種存算架構(gòu)在芯片方面融合，能支持訓(xùn)練+推理一體應(yīng)用，并使性能最大化。此外，存內(nèi)計(jì)算可以通過互聯(lián)、疊加實(shí)現(xiàn)更大算力，九天睿芯已積累多個(gè)智能信號(hào)鏈（智能感知/互聯(lián)）的基礎(chǔ)IP，并啟動(dòng)告訴互聯(lián)接口技術(shù)研發(fā)，為實(shí)現(xiàn)大算力做準(zhǔn)備。
▲九天睿芯副總裁袁野
在知存科技業(yè)務(wù)拓展副總裁詹慕航看來，AI神經(jīng)網(wǎng)絡(luò)或者CNN矩陣運(yùn)算、卷積運(yùn)算的核心就是矩陣乘法/乘加運(yùn)算，越典型的大模型越需要矩陣運(yùn)算，便越適合存內(nèi)計(jì)算的方式，將“存”和“算”結(jié)合，一次性并行完成。因此，知存科技選擇使用Flash存儲(chǔ)器完成AI神經(jīng)網(wǎng)絡(luò)的儲(chǔ)存和運(yùn)算，以解決存儲(chǔ)墻問題。
知存科技推出的WTM-2端側(cè)AI芯片，具備極低功耗、極低延遲，其已量產(chǎn)的國際首顆存內(nèi)計(jì)算芯片WTM2101功耗僅5uA-3mA，兼具高算力，適用端側(cè)智能物聯(lián)網(wǎng)場景。下一步，知存科技還將針對(duì)視頻增強(qiáng)場景推出WTM-8系列芯片，該系列芯片具備4核存算MPU，單核提升算力80倍，提升效率10倍。
▲知存科技業(yè)務(wù)拓展副總裁詹慕航
3、3D視覺應(yīng)用滲透加速，創(chuàng)新方案1個(gè)大腦指揮8只眼睛
肇觀電子CEO馮歆鵬認(rèn)為，隨著視覺技術(shù)從2D向3D發(fā)展，智能3D視覺應(yīng)用將滲透到全行業(yè)，且路線圖可以往五十年以后延伸。但硬件成像限制和AI感知局限是3D視覺行業(yè)繞不開的痛點(diǎn)，馮歆鵬談道，為了解決上述問題，肇觀電子積累了3D、VSLAM、AI和OCR光學(xué)字符識(shí)別等多項(xiàng)機(jī)器視覺核心技術(shù)。其中，肇觀電子3D深度相機(jī)能適用冷庫機(jī)器人在-18℃的環(huán)境里啟動(dòng)“眼睛”完成任務(wù)等極限場景，他還提到，部分海外巨頭的機(jī)器視覺技術(shù)甚至無法在低溫環(huán)境里開機(jī)。
▲肇觀電子CEO馮歆鵬
諾磊科技推出的集成CIS+AI+MCU光譜識(shí)別功能的感算一體AI光譜分析芯片陣列技術(shù)“Eye with Brain”，能做到“1個(gè)眼睛照顧8個(gè)大腦”，還能實(shí)現(xiàn)對(duì)多頻段光譜的檢測與分析。有別于AI業(yè)界的傳統(tǒng)算法，諾磊科技的產(chǎn)品配合高度集成機(jī)器影像辨識(shí)傳感器，能獨(dú)立運(yùn)行實(shí)現(xiàn)影像偵測、追蹤及識(shí)別。諾磊科技創(chuàng)始人、CEO Raymond Wu提到，諾磊科技在首款110nm工藝量產(chǎn)芯片NB1001上，結(jié)合WLO（晶圓級(jí)光學(xué)）技術(shù)，將光學(xué)元件集成到半導(dǎo)體晶圓上，設(shè)計(jì)為類似于麥克風(fēng)陣列的光譜檢測陣列。
Raymond Wu還提到，曾經(jīng)一枝獨(dú)秀的影像解決方案CCD由于系統(tǒng)體積大、成本高、功耗大、落地難逐漸被CIS（CMOS圖像傳感器）取代。這與當(dāng)下AI應(yīng)用有相似性，他認(rèn)為高算力并不是能百分之百解決所有AI應(yīng)用的手段，AI應(yīng)用的算力需求取決于具體應(yīng)用的場景，單一化應(yīng)用沒有必要做復(fù)雜的AI芯片。
▲諾磊科技創(chuàng)始人、CEO Raymond Wu
2023全球AI芯片峰會(huì)第二天，云邊端AI芯片熱戰(zhàn)大模型的戰(zhàn)況更盛。
一方面，面向大模型的海量算力需求，國產(chǎn)大算力芯片廠商已經(jīng)發(fā)起技術(shù)沖鋒。GPGPU廠商從芯片設(shè)計(jì)、解決方案和生態(tài)多方面加快大模型場景落地，國內(nèi)外的AI芯片廠商試圖用創(chuàng)新架構(gòu)打破NVIDIA一家獨(dú)大局面，此外上下游產(chǎn)業(yè)鏈也在通過編譯器、EDA等技術(shù)的創(chuàng)新為AI芯片性能提供“放大器”。
另一方面，大模型的落地場景正從云端延伸至邊緣側(cè)、端側(cè)，使得國內(nèi)一批高能效AI芯片廠商看到了市場發(fā)展機(jī)遇。通過存內(nèi)計(jì)算、立方單元架構(gòu)、Chiplet等不同創(chuàng)新架構(gòu)，AI芯片廠商不約而同地探索降低AI芯片能耗和算力成本的最短路徑，從而為大模型的規(guī)?；涞靥峁l件。隨著大模型在端側(cè)、邊緣側(cè)的部署門檻降低，大小模型有望實(shí)現(xiàn)更好的協(xié)同，從而促進(jìn)AI落地產(chǎn)業(yè)的深度和廣度大大加強(qiáng)。
通過第二天的峰會(huì)，我們可以看到以下五大產(chǎn)業(yè)發(fā)展趨勢值得關(guān)注：
1、作為首屈一指的芯片巨頭，NVIDIA通過在數(shù)值、稀疏性、互聯(lián)、內(nèi)存帶寬等方面的革新，鞏固了其在AI時(shí)代的霸主地位。對(duì)此，國內(nèi)GPGPU廠商可以通過開源的方式解決錢、人、時(shí)間的問題。
2、傳統(tǒng)架構(gòu)難以突破大模型訓(xùn)練中的帶寬和成本瓶頸，市場需要超過NVIDIA GPU的新架構(gòu)。存內(nèi)計(jì)算/邏輯能讓芯片能效大幅提高，突破功耗墻和存儲(chǔ)墻問題，從而以成熟工藝突圍大算力芯片。
3、面向大模型場景，AI芯片廠商需要滿足存得下、易擴(kuò)展、易使用三大溫飽需求，以及易使用、低成本、低延時(shí)三大升級(jí)需求。這需要AI芯片廠商加快技術(shù)架構(gòu)創(chuàng)新，也需要用軟硬一體化解決方案去突破。
4、大模型讓國產(chǎn)AI芯片面臨的生態(tài)困境更加凸顯，需要產(chǎn)業(yè)鏈上下游加快適配。比如通過編譯器創(chuàng)新，產(chǎn)業(yè)能夠促進(jìn)芯片性能提升、跨平臺(tái)優(yōu)化及安全性增強(qiáng)；也有企業(yè)打造圍繞Chiplet產(chǎn)業(yè)的全新EDA平臺(tái)，為芯片設(shè)計(jì)創(chuàng)新提供支持。
5、大模型正從云端場景向邊緣側(cè)、終端延展。在邊緣側(cè)和終端場景，客戶對(duì)AI芯片的能耗和成本更加敏感。為此，AI芯片領(lǐng)域的玩家通過存內(nèi)計(jì)算、立體單元架構(gòu)、模型稀疏化、Chiplet等路徑降低芯片能耗和成本，支持大模型“下沉”。
結(jié)合前后兩天的2023全球AI芯片峰會(huì)產(chǎn)學(xué)研投領(lǐng)域46+位大佬的交鋒，我們發(fā)現(xiàn)，“得算力者得天下”已經(jīng)成為大模型時(shí)代的特征，跳出NVIDIA GPU路徑的新架構(gòu)、新產(chǎn)品越來越多。隨著摩爾定律逼近極限，現(xiàn)實(shí)算力資源與理想算力資源之間存在巨大鴻溝，在NVIDIA之外，市場上已經(jīng)涌現(xiàn)出更多能夠填補(bǔ)市場空白的AI芯片企業(yè)，推動(dòng)市場呈現(xiàn)“百花齊放”態(tài)勢。
從2018年舉辦第一屆開始發(fā)展到今天，全球AI芯片峰會(huì)至今已連續(xù)舉辦五屆，峰會(huì)目前已經(jīng)觸達(dá)到了AI芯片產(chǎn)業(yè)鏈的設(shè)計(jì)、EDA、編譯器等多個(gè)核心重要環(huán)節(jié)，覆蓋云邊端等全場景的芯片巨頭和新銳創(chuàng)企，以及來自學(xué)術(shù)圈和投資界的專業(yè)人士。在過去兩天的峰會(huì)中，我們聽到了頂級(jí)AI芯片產(chǎn)學(xué)研用及投融資領(lǐng)域?qū)＜覀兊乃枷虢讳h，多元的精彩觀點(diǎn)在這里碰撞。乘風(fēng)新技術(shù)浪潮，全球AI芯片峰會(huì)已經(jīng)成為國內(nèi)極少數(shù)專注在AI芯片領(lǐng)域且具有較大影響力的行業(yè)峰會(huì)。