AI算力下(xià)沉至終端,提升邊緣計算需求
2023-07-25  330次浏覽

一(yī)、AI算力将在邊端雲端靈活分(fēn)配

邊緣計算在萬物(wù)互聯場景中(zhōng)至關重要

邊緣計算是一(yī)種分(fēn)布式計算架構,将數據處理能力和應用程序部署在更接近數據源的位置,以提高響應性,增強安全性和保護用戶隐私。 所謂邊緣,一(yī)般包括:設備邊緣和雲邊緣。設備邊緣:一(yī)般包括直接的終端設備以及一(yī)些異構加速卡、邊緣網關等設備。 雲邊緣:一(yī)般是在設備邊緣和中(zhōng)心雲之間,比如就近部署的邊緣雲節點/邊緣IDC。 萬物(wù)互聯場景中(zhōng),雲端處理存在時延較長、成本較高、涉及數據隐私等問題,引入邊緣計算至關重要。

邊緣AI将與雲端AI相互補充

邊緣AI将AI能力引入到邊緣計算場景。 相較于雲端集中(zhōng)的AI資(zī)源池運算,邊緣AI具有實時響應、增加隐私性、持續改進等優勢。 邊緣AI與雲端集中(zhōng)的AI是相互補充、相互關聯的關系,而非替代關系。

087d-2e14532bdeecc6285ea4f31d49579c04.png


AI算力預計将靈活分(fēn)配

我(wǒ)(wǒ)們認爲AI算力将綜合考慮硬件能力、成本等因素,在邊端和雲端靈活分(fēn)配,簡單涵蓋: 邊端AI小(xiǎo)模型場景:本地跑一(yī)些語音識别、圖像識别等算法複雜(zá)度比較低、對算力要求比較小(xiǎo)的AI模型,同時也可以通過API調用雲端AI算力/應用來實現更加豐富的AI功能。邊端AI大(dà)模型場景:直接在邊緣側運行AI大(dà)模型。這類場景我(wǒ)(wǒ)們認爲可能會率先在手機、PC、智能駕駛、具身智能、元宇宙、工(gōng)業控制等自身具備一(yī)定算力基礎的場景落地。

二、大(dà)模型向邊緣端滲透初見端倪

大(dà)模型在邊緣端滲透的條件:模型壓縮+算力提升

大(dà)模型向邊緣端滲透,需要算法、硬件協同優化,模型壓縮和邊緣側計算性能提升是兩大(dà)關鍵。 模型壓縮:比如GPT-175B 模型約有 1750 億參數,以半精度(FP16)格式計算,至少占 320GB存儲空間。模型壓縮是大(dà)模型向邊緣滲透的其中(zhōng)一(yī)個重要條件。計算性能提升:包括算力、顯存、功耗等多方面的硬件綜合能力。目前在這兩個方向上,我(wǒ)(wǒ)們都可以看到不錯的進展預期,大(dà)模型在邊緣端滲透初見端倪。

算力提升:包括算力、顯存、功耗等多維度

算力:Transformer模型更加依賴大(dà)算力的支撐。參考壁仞科技數據,對于40個字的文本序列,進行一(yī)次Bert推理需要7Gflops,由中(zhōng)文翻譯到英文的Seq2Seq模型需要 20 Gflops。标準版BERT模型參數量是3.4 億個參數。 顯存:以一(yī)個100億參數模型,FP16精度爲例,參數量需要20GB内存(10B*2Bytes),梯度需要20GB内存(10B*2Bytes),優化器狀态需要40GB内存(10B*2Bytes*2),總計需要80GB内存。 功耗:随着算力的提升,帶來功耗提升,對于芯片的散熱要求将明顯提升,同時不同場景對于設備耗電(diàn)量、待機時長等也都有不同要求。

當前進展:手機、PC端已經出現邊緣大(dà)模型場景落地

手機:ChatGPT已推出IOS應用,安卓版後續也會發布。高通在搭載第二代骁龍8移動平台的Android智能手機上部署Stable Diffusion(參數超10億個),在15秒内執行20步推理,生(shēng)成一(yī)張512x512像素的圖像。 PC:微軟和高通、英特爾在AI領域展開(kāi)合作,部署推出搭載AI引擎的PC産品。具身智能:英偉達創始人黃仁勳表示AI下(xià)一(yī)個浪潮将是“具身智能”,并且公布了多模态具身人工(gōng)智能系統Nvidia VIMA。

三、産業鏈新增AI,強化算力與連接

邊緣計算市場快速增長


STL Partners數據顯示,邊緣計算潛在市場将在10年内以48%的複合年增長率從2020年的90億美元增長到2030年的4450億美元,其中(zhōng)邊緣基礎設施的增長速度是最快的。 億歐智庫數據顯示,2021年我(wǒ)(wǒ)國邊緣計算市場規模已經達到427.9億元,其中(zhōng)邊緣硬件市場規模爲281.7億元,邊緣軟件與服務市場規模達146.2億元,2021-2025年中(zhōng)國邊緣計算産業規模預計年複合增速達到46.81%,2025年邊緣計算市場整體(tǐ)規模将達1987.68億元。

邊緣計算産業鏈:新增AI,強化算力與連接

從産業鏈角度,邊緣AI核心在于引入邊緣側的AI能力,進一(yī)步增強邊緣側的算力能力、連接能力。重點包括AI芯片、算力模組、邊緣網關/服務器/控制器等硬件、AI算法/邊緣計算平台等軟件環節。

AI芯片:專門用于處理AI大(dà)量計算任務的模塊

AI芯片是指專門用于處理人工(gōng)智能應用中(zhōng)的大(dà)量計算任務的模塊,其他非計算任務則更多仍由CPU負責。從技術架構來看,Al 芯片主要分(fēn)爲 GPU、FPGA、ASIC三大(dà)類。其中(zhōng),GPU 是較爲成熟的通用型人工(gōng)智能芯片,FPGA 和 ASIC 則分(fēn)别是針對人工(gōng)智能需求特征的半定制和全定制芯片。 典型AI運算通常需要CPU或者ARM内核來執行調度處理,大(dà)量的并行計算靠GPU、FPGA或ASIC來完成。

模組:标準化的模組形态可以有效滿足物(wù)聯網碎片化需求

無線模組是物(wù)聯網中(zhōng)的連接器件,無線模組将芯片、存儲器、功放(fàng)器件等集成在一(yī)塊線路闆上,實現無線電(diàn)波收發、信道噪聲過濾及模拟信号與數字信号之間相互轉換,并提供标準接口的功能模塊,終端借助無線模組可以實現通信或定位。 物(wù)聯網的碎片化需求,基于芯片的開(kāi)發技術門檻高,客戶會選用标準的模組,直接使用模組的标準硬件接口和嵌入式應用協議,不必關心底層邏輯,隻要做好應用側适配。

智能控制器:家電(diàn)等場景實現智能化的“大(dà)腦”

智能控制器和邊緣節點算力同樣直接相關。 在智能家居、家電(diàn)、工(gōng)業控制等場景中(zhōng),智能控制器是其實現智能化的大(dà)腦。 AI帶動下(xià)遊智能化能力提升,智能場景的功能及其交互方式将更加豐富,包括機器視覺、語音識别等AI算法将更多與應用場景結合,同時控制器中(zhōng)也将引入算力芯片等,對于智能控制器的需求量和ASP也将會是直接正向的帶動。