在線客服
企業(yè)微信
核心提示：當電力成為基礎設施、成為工業(yè)主要動力的時候，人類才真正走入電力時代。而今天互聯(lián)網(wǎng)和算力的滲透已經(jīng)超過了過去所有基礎設施
當電力成為基礎設施、成為工業(yè)主要動力的時候，人類才真正走入電力時代。而今天互聯(lián)網(wǎng)和算力的滲透已經(jīng)超過了過去所有基礎設施，但還遠遠不夠，人工智能還只是算力時代的第一個燈泡，更多我們不敢想的事情還遠未出現(xiàn)。
無論是AI還是物聯(lián)網(wǎng)，都逐漸成為生活的一部分，時代變化、技術更迭，背后不變的是雪崩般增長的數(shù)據(jù)和與之伴生的算力黑洞。
高需求背后的極限警告
AI時代的算力、算法和數(shù)據(jù)處在一種螺旋式的提升關系中，由于芯片制程和計算性能的提升，使得對算力的渴求不像以前那樣迫切，可以說過去十年AI的發(fā)展，是靠算法推動的。
隨著大數(shù)據(jù)、5G技術的發(fā)展，各式各樣的應用場景帶來AI的落地，當算法普及和數(shù)據(jù)累積達到一個新的程度時，原來的算力又不夠了，成為AI性能提升的硬指標。
算法和數(shù)據(jù)的不斷演進、交替上升，對更高算力的需求永不停歇。時至今日，算力依然成為制約AI進一步發(fā)展的關鍵因素。
人們從來沒有想到過芯片的算力會有到達極限的一天，至少從來沒有想到極限會這么快到來。
麻省理工學院的研究人員前年就曾發(fā)出算力警告：深度學習正在逼近計算極限。根據(jù)MIT的一項研究，深度學習的進展非常依賴算力的增長。
研究人員分析了預印本服務器Arxiv.org上的1058篇論文和其他基準資料，以理解深度學習性能和算力之間的聯(lián)系，主要分析了圖像分類、目標檢測、問題回答、命名實體識別和機器翻譯等領域如下兩方面的計算需求:
每一網(wǎng)絡遍歷的計算量，或給定深度學習模型中單次遍歷(即權值調(diào)整)所需的浮點運算數(shù)
訓練整個模型的硬件負擔，用處理器數(shù)量乘以計算速度和時間來估算
結論顯示，訓練模型的進步取決于算力的大幅提高，具體來說，計算能力提高10倍相當于3年的算法改進成果。
如同水利之于農(nóng)業(yè)時代，電力之于工業(yè)時代，算力，已成為國民經(jīng)濟發(fā)展的重要基礎設施。國家發(fā)展改革委高技術司解釋，算力是數(shù)字經(jīng)濟的核心生產(chǎn)力。截至目前，我國數(shù)據(jù)中心規(guī)模已達500萬標準機架，算力達到130EFLOPS（每秒一萬三千億億次浮點運算）。隨著數(shù)字技術向經(jīng)濟社會各領域全面持續(xù)滲透，全社會對算力需求仍十分迫切，預計每年仍將以20%以上的速度快速增長。
物聯(lián)網(wǎng)推動數(shù)據(jù)幾何級增長，人工智能和大數(shù)據(jù)技術，特別是企業(yè)級對算力的渴求，榨干了芯片企業(yè)每一絲算力，而且在算法紅利逐漸消失的現(xiàn)在，算力的增長就變成了貨真價實的真金白銀。
自2012年至今，AI算力需求已增長超30萬倍，以GPU為代表的AI加速芯片取代CPU，已經(jīng)成為AI算力的主要提供者。GPU服務器相對CPU服務器來說是非常昂貴的，大約是美金和人民幣匯率的差距（以8卡GPU服務器為例），而且在芯片緊缺的年代，GPU到貨周期還比較長。
算力提高的背后，其實現(xiàn)目標所隱含的計算需求——硬件、環(huán)境和金錢等成本將變得無法承受。
由于當前粗放的使用及管理方式，大部分用戶的GPU利用率只有10%-30%，這就造成了這一寶貴資源的大量浪費，如何更好的利用和管理GPU資源就變得尤其關鍵。
算力高成本下的分配不均是影響AI產(chǎn)業(yè)發(fā)展的關鍵因素，下面是一些算力分配不均的典型場景：
場景一：
大多數(shù)的情況下采取的是為一個開發(fā)者分配一塊或幾塊GPU卡的方式來滿足開發(fā)調(diào)試的需求。這種情況下存在什么問題？卡和人綁定，卡分配之后，存在著較大的閑置，開發(fā)人員70%以上的時間都在讀論文、寫代碼，只有不到30%的時間在利用GPU資源進行運算調(diào)試。
場景二：
通過調(diào)查了解，絕大多數(shù)企業(yè)為了保證業(yè)務的隔離性，不受其它AI業(yè)務的干擾，保障服務的SLA，都是運行在獨立的GPU卡上。在這種情況下，GPU卡的算力和顯存使用往往不到20%，這樣造成了大量的資源浪費——近80%的算力和顯存其實是被白白消耗，而且還有與之相關的電費，運維費用。
場景三：
智能化自動駕駛汽車是人工智能技術落地的最大應用場景之一，智能化汽車很有可能成為未來萬物互聯(lián)的終端，成為繼智能手機之后，深刻改變社會形態(tài)的產(chǎn)品。
自動駕駛研發(fā)的每一個階段幾乎都要涉及到AI深度學習算法的參與，包括機器視覺、深度學習、增強學習、傳感器技術等均在自動駕駛領域發(fā)揮著重要的作用，自動駕駛發(fā)展的瓶頸主要在于這些人工智能底層技術上能否實現(xiàn)突破。
在自動駕駛領域的算力資源，往往分為車載邊端算力和數(shù)據(jù)中心算力：
車載算力目前以指數(shù)級方式快速增長，但仍不能滿足車上大量多模態(tài)AI業(yè)務的需求，所以目前關注重點仍然是算力硬件設備的優(yōu)化
而數(shù)據(jù)中心端則是相較通用的AI開發(fā)、訓練和離線推理場景，為了迭代出更準確的算法，需要對每天的路測數(shù)據(jù)進行處理，讓自動駕駛模型反復訓練優(yōu)化，并且進行大量驗證測試工作
大多數(shù)的AI開發(fā)涉及到從數(shù)據(jù)準備、預處理、模型訓練、調(diào)參、部署模型、線上推理、持續(xù)監(jiān)控、數(shù)據(jù)收集、迭代優(yōu)化的過程。在整個業(yè)務流程中，有些工作是需要大量CPU，不需要GPU資源的，在CPU運算的時候，其實GPU是閑置的。
AI 計算的下半場：軟件定義算力
正如前面闡述的，算力有多重要，就有多昂貴。巨大的算力需求，使得GPU價格一直居高不下。高昂的成本，讓更多的用戶在AI世界的大門面前望而卻步。
歷史的經(jīng)驗告訴我們，一個產(chǎn)業(yè)的發(fā)展一般都有三個階段：
Make it work
Make it perform
Make it cheap
也就可用、好用、用得起，只有一項技術“飛入尋常百姓家”時，這項技術才能真正為全人類所用。
因此筆者認為：未來10年，算力平民化會成為AI的發(fā)展方向，也是必然趨勢。
如何實現(xiàn)普惠算力？正如我們前面提到的，通過軟件定義，實現(xiàn)算力資源池化是當下有效的辦法。
場景一的解決方案：
利用軟件定義GPU的技術，把卡和人解綁，當有任務調(diào)用GPU資源的時候才真正被占用，任務結束，資源釋放，回到資源池。
下圖是一個JupyterLab的開發(fā)場景，VSCode server/PyCharm的模式與這個類似，在實際的案例里，使用軟件定義的GPU之后，資源能縮減至25%左右！50個人的開發(fā)團隊，16張卡搞定。
場景二的解決方案：
通過軟件定義的方式，提供細顆粒度的GPU資源復用單卡，保障業(yè)務運行的隔離性，可靠性和性能。大部分采取趨動科技池化方案上線生產(chǎn)業(yè)務的客戶，可獲得3倍以上的提升收益。
場景三的解決方案：
打造一站式自動駕駛AI開發(fā)、訓練、運維的解決方案，提供CPU、物理GPU、OrionX vGPU、存儲等多種資源，實現(xiàn)界面化統(tǒng)一申請、調(diào)度、監(jiān)控和運維，同時實現(xiàn)AI開發(fā)和訓練任務級別的界面化管理，提升車企或自動駕駛企業(yè)算法研發(fā)效率，兼顧算法工程師和運維工程師等不同人員對AI平臺的多樣化需求。
舉個例子：
如果把GPU比作大巴車，AI的計算任務比作旅游團。計算量最小的任務，就如同三五人的小團體；計算量大的任務自然是上百人的大型旅行團。在傳統(tǒng)的算力分配模式中，無論計算量大或者小，都會至少占用一個硬件單元。就像小團體出游，卻占用整個大巴車，剩余的座位都是空的。正是這種模式，浪費了大量算力，降低了GPU芯片的利用率。
我們是否可以對傳統(tǒng)算力分配模式顛覆。用最直觀的比喻來說，做出一款可以“隨需應變、動態(tài)伸縮”的大巴車。用戶不再使用物理AI芯片，取而代之的是隨需應變、動態(tài)伸縮的虛擬AI芯片。
數(shù)據(jù)中心也是算力池化非常合適的場景。在數(shù)據(jù)中心里，最主要是由服務器提供算力，但是因為GPU非常昂貴，一般來說，不會每臺服務器都配備GPU。如果能夠通過軟件定義AI算力可以幫助用戶讓應用跑在沒有GPU的服務器上，通過網(wǎng)絡使用其他服務器的GPU算力。未來網(wǎng)絡基礎設施會變得越來越好，如果網(wǎng)絡條件足夠好，大膽暢想，甚至可以幫助用戶在省、市的范圍內(nèi)來調(diào)配算力。
幫助用戶根據(jù)需求來動態(tài)伸縮使用的資源。比如說，某一用戶的任務剛啟動時只需要一個甚至半個GPU，但是隨著運行的不斷推進，需要的計算量越來越大，就需要10個GPU，甚至更多。通過軟件可以根據(jù)具體需求，動態(tài)變化所使用的資源。
技術演進：GPU從虛擬化到資源池化
學術界和產(chǎn)業(yè)界一直在探索如何更優(yōu)使用GPU資源，這些技術基本可以歸納為GPU池化發(fā)展的四個階段：
階段1，簡單虛擬化。將單物理GPU按固定比例切分成多個虛擬GPU，比如1/2或1/4,每個虛擬GPU的顯存相等，算力輪詢。最初是伴隨著服務器虛擬化的興起，解決虛擬機可以共享和使用GPU資源的問題
階段2，任意虛擬化。支持將物理GPU按照算力和顯存兩個維度靈活切分，實現(xiàn)自定義大小虛擬GPU（通常算力最小顆粒度1%，顯存最小顆粒度1MB），滿足AI應用差異化需求。切分后的小顆粒度虛擬GPU可以滿足虛擬機，容器的使用
階段3，遠程調(diào)用。重要技術突破在于支持GPU的跨節(jié)點調(diào)用，AI應用可以部署到數(shù)據(jù)中心的任意位置，不管所在的節(jié)點上有沒有GPU。在該階段，資源納管的范圍從單個節(jié)點擴展到由網(wǎng)絡互聯(lián)起來的整個數(shù)據(jù)中心，是從GPU虛擬化向GPU資源池化進化的關鍵一步
階段4，資源池化。關鍵點在于按需調(diào)用，動態(tài)伸縮，用完釋放。借助池化能力，AI應用可以根據(jù)負載需求調(diào)用任意大小的虛擬GPU，甚至可以聚合多個物理節(jié)點的GPU；在容器或虛機創(chuàng)建之后，仍然可以調(diào)整虛擬GPU的數(shù)量和大小；在AI應用停止的時候，立刻釋放GPU資源回到整個GPU資源池，以便于資源高效流轉(zhuǎn)，充分利用
GPU池化：站在整個數(shù)據(jù)中心的高度解決問題。OrionX AI算力資源池化軟件不同組件的功能及邏輯架構，通過各組件“各司其職”，能為用戶實現(xiàn)單機多租戶細粒度切分、多機資源聚合、遠程算力調(diào)用、資源池彈性伸縮等目標；同時由于OrionX支持異構算力的管理和共享，所以能站在整個數(shù)據(jù)中心的高度解決GPU利用率低、成本高、分配與管理難等問題，建立數(shù)據(jù)中心級加速資源池。
構建國家算力骨干網(wǎng)
2020年底，國家發(fā)展改革委、中央網(wǎng)信辦、工業(yè)和信息化部、國家能源局四部門聯(lián)合出臺《關于加快構建全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系的指導意見》提出，到2025年，全國范圍內(nèi)數(shù)據(jù)中心形成布局合理、綠色集約的基礎設施一體化格局。2021年5月，前述四部門正式印發(fā)《全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實施方案》（《實施方案》），明確提出布局全國算力網(wǎng)絡國家樞紐節(jié)點，啟動實施“東數(shù)西算”工程，構建國家算力網(wǎng)絡體系。
其實就像是電網(wǎng)和天然氣網(wǎng)，算力對于有些地方來說是完全不夠用的，而對于有的地方則是空有一手的「算力」卻無處使。簡單來說，興建人工智能計算中心之后會面臨三點問題：
不同區(qū)域AI算力使用存在波峰波谷，各地獨立的人工智能計算中心無法實現(xiàn)跨域的動態(tài)調(diào)配
全國人工智能發(fā)展不均衡，不同區(qū)域有各自優(yōu)勢，各地獨立的人工智能計算中心無法實現(xiàn)跨區(qū)域的聯(lián)合科研和應用創(chuàng)新、資源互補
各地獨立的人工智能計算中心產(chǎn)生的AI模型、數(shù)據(jù)，難以實現(xiàn)全國范圍內(nèi)順暢流動、交易，以產(chǎn)生更大的價值
算力網(wǎng)絡匯聚和共享算力、數(shù)據(jù)、算法資源，最終實現(xiàn)「一網(wǎng)絡，三匯聚」：
網(wǎng)絡：將人工智能計算中心的節(jié)點通過專線連接起來形成人工智能算力網(wǎng)絡
三匯聚：算力匯聚、數(shù)據(jù)匯聚、生態(tài)匯聚
算力匯聚：連接不同節(jié)點的高速網(wǎng)絡，實現(xiàn)跨節(jié)點之間的算力合理調(diào)度，資源彈性分配，從而提升各個人工智能計算中心的利用率，實現(xiàn)對于整體能耗的節(jié)省，后續(xù)可支持跨節(jié)點分布學習，為大模型的研究提供超級算力
數(shù)據(jù)匯聚：政府和企業(yè)共同推進人工智能領域的公共數(shù)據(jù)開放，基于人工智能計算中心匯聚高質(zhì)量的開源開放的人工智能數(shù)據(jù)集，促進算法開發(fā)和行業(yè)落地
生態(tài)匯聚：采用節(jié)點互聯(lián)標準、應用接口標準，實現(xiàn)網(wǎng)絡內(nèi)大模型能力開放與應用創(chuàng)新成果共享，強化跨區(qū)域科研和產(chǎn)業(yè)協(xié)作
各地算力中心就像大腦中數(shù)億個突觸，人工智能算力網(wǎng)絡正如神經(jīng)網(wǎng)絡。如此看來，算力網(wǎng)絡的重要意義之一便是通過匯聚大數(shù)據(jù)+大算力，使能了大模型和重大科研創(chuàng)新，孵化新應用。進而實現(xiàn)算力網(wǎng)絡化，降低算力成本，提升計算能效。最終打造一張覆蓋全國的算力網(wǎng)絡，實現(xiàn)算力匯聚、生態(tài)匯聚、數(shù)據(jù)匯聚，進而達到各產(chǎn)業(yè)共融共生。
無論是AI還是物聯(lián)網(wǎng)，都逐漸成為生活的一部分，時代變化、技術更迭，背后不變的是雪崩般增長的數(shù)據(jù)和與之伴生的算力黑洞。
高需求背后的極限警告
AI時代的算力、算法和數(shù)據(jù)處在一種螺旋式的提升關系中，由于芯片制程和計算性能的提升，使得對算力的渴求不像以前那樣迫切，可以說過去十年AI的發(fā)展，是靠算法推動的。
隨著大數(shù)據(jù)、5G技術的發(fā)展，各式各樣的應用場景帶來AI的落地，當算法普及和數(shù)據(jù)累積達到一個新的程度時，原來的算力又不夠了，成為AI性能提升的硬指標。
算法和數(shù)據(jù)的不斷演進、交替上升，對更高算力的需求永不停歇。時至今日，算力依然成為制約AI進一步發(fā)展的關鍵因素。
人們從來沒有想到過芯片的算力會有到達極限的一天，至少從來沒有想到極限會這么快到來。
麻省理工學院的研究人員前年就曾發(fā)出算力警告：深度學習正在逼近計算極限。根據(jù)MIT的一項研究，深度學習的進展非常依賴算力的增長。
研究人員分析了預印本服務器Arxiv.org上的1058篇論文和其他基準資料，以理解深度學習性能和算力之間的聯(lián)系，主要分析了圖像分類、目標檢測、問題回答、命名實體識別和機器翻譯等領域如下兩方面的計算需求:
每一網(wǎng)絡遍歷的計算量，或給定深度學習模型中單次遍歷(即權值調(diào)整)所需的浮點運算數(shù)
訓練整個模型的硬件負擔，用處理器數(shù)量乘以計算速度和時間來估算
結論顯示，訓練模型的進步取決于算力的大幅提高，具體來說，計算能力提高10倍相當于3年的算法改進成果。
如同水利之于農(nóng)業(yè)時代，電力之于工業(yè)時代，算力，已成為國民經(jīng)濟發(fā)展的重要基礎設施。國家發(fā)展改革委高技術司解釋，算力是數(shù)字經(jīng)濟的核心生產(chǎn)力。截至目前，我國數(shù)據(jù)中心規(guī)模已達500萬標準機架，算力達到130EFLOPS（每秒一萬三千億億次浮點運算）。隨著數(shù)字技術向經(jīng)濟社會各領域全面持續(xù)滲透，全社會對算力需求仍十分迫切，預計每年仍將以20%以上的速度快速增長。
物聯(lián)網(wǎng)推動數(shù)據(jù)幾何級增長，人工智能和大數(shù)據(jù)技術，特別是企業(yè)級對算力的渴求，榨干了芯片企業(yè)每一絲算力，而且在算法紅利逐漸消失的現(xiàn)在，算力的增長就變成了貨真價實的真金白銀。
自2012年至今，AI算力需求已增長超30萬倍，以GPU為代表的AI加速芯片取代CPU，已經(jīng)成為AI算力的主要提供者。GPU服務器相對CPU服務器來說是非常昂貴的，大約是美金和人民幣匯率的差距（以8卡GPU服務器為例），而且在芯片緊缺的年代，GPU到貨周期還比較長。
算力提高的背后，其實現(xiàn)目標所隱含的計算需求——硬件、環(huán)境和金錢等成本將變得無法承受。
由于當前粗放的使用及管理方式，大部分用戶的GPU利用率只有10%-30%，這就造成了這一寶貴資源的大量浪費，如何更好的利用和管理GPU資源就變得尤其關鍵。
算力分配失衡影響產(chǎn)業(yè)發(fā)展
算力高成本下的分配不均是影響AI產(chǎn)業(yè)發(fā)展的關鍵因素，下面是一些算力分配不均的典型場景：
場景一：
大多數(shù)的情況下采取的是為一個開發(fā)者分配一塊或幾塊GPU卡的方式來滿足開發(fā)調(diào)試的需求。這種情況下存在什么問題？卡和人綁定，卡分配之后，存在著較大的閑置，開發(fā)人員70%以上的時間都在讀論文、寫代碼，只有不到30%的時間在利用GPU資源進行運算調(diào)試。
場景二：
通過調(diào)查了解，絕大多數(shù)企業(yè)為了保證業(yè)務的隔離性，不受其它AI業(yè)務的干擾，保障服務的SLA，都是運行在獨立的GPU卡上。在這種情況下，GPU卡的算力和顯存使用往往不到20%，這樣造成了大量的資源浪費——近80%的算力和顯存其實是被白白消耗，而且還有與之相關的電費，運維費用。
場景三：
智能化自動駕駛汽車是人工智能技術落地的最大應用場景之一，智能化汽車很有可能成為未來萬物互聯(lián)的終端，成為繼智能手機之后，深刻改變社會形態(tài)的產(chǎn)品。
自動駕駛研發(fā)的每一個階段幾乎都要涉及到AI深度學習算法的參與，包括機器視覺、深度學習、增強學習、傳感器技術等均在自動駕駛領域發(fā)揮著重要的作用，自動駕駛發(fā)展的瓶頸主要在于這些人工智能底層技術上能否實現(xiàn)突破。
自動駕駛技術與AI流程圖
在自動駕駛領域的算力資源，往往分為車載邊端算力和數(shù)據(jù)中心算力：
車載算力目前以指數(shù)級方式快速增長，但仍不能滿足車上大量多模態(tài)AI業(yè)務的需求，所以目前關注重點仍然是算力硬件設備的優(yōu)化
而數(shù)據(jù)中心端則是相較通用的AI開發(fā)、訓練和離線推理場景，為了迭代出更準確的算法，需要對每天的路測數(shù)據(jù)進行處理，讓自動駕駛模型反復訓練優(yōu)化，并且進行大量驗證測試工作
大多數(shù)的AI開發(fā)涉及到從數(shù)據(jù)準備、預處理、模型訓練、調(diào)參、部署模型、線上推理、持續(xù)監(jiān)控、數(shù)據(jù)收集、迭代優(yōu)化的過程。在整個業(yè)務流程中，有些工作是需要大量CPU，不需要GPU資源的，在CPU運算的時候，其實GPU是閑置的。
AI 計算的下半場：軟件定義算力
正如前面闡述的，算力有多重要，就有多昂貴。巨大的算力需求，使得GPU價格一直居高不下。高昂的成本，讓更多的用戶在AI世界的大門面前望而卻步。
歷史的經(jīng)驗告訴我們，一個產(chǎn)業(yè)的發(fā)展一般都有三個階段：
Make it work
Make it perform
Make it cheap
也就可用、好用、用得起，只有一項技術“飛入尋常百姓家”時，這項技術才能真正為全人類所用。
因此筆者認為：未來10年，算力平民化會成為AI的發(fā)展方向，也是必然趨勢。
如何實現(xiàn)普惠算力？正如我們前面提到的，通過軟件定義，實現(xiàn)算力資源池化是當下有效的辦法。
場景一的解決方案：
利用軟件定義GPU的技術，把卡和人解綁，當有任務調(diào)用GPU資源的時候才真正被占用，任務結束，資源釋放，回到資源池。
下圖是一個JupyterLab的開發(fā)場景，VSCode server/PyCharm的模式與這個類似，在實際的案例里，使用軟件定義的GPU之后，資源能縮減至25%左右！50個人的開發(fā)團隊，16張卡搞定。
場景二的解決方案：
通過軟件定義的方式，提供細顆粒度的GPU資源復用單卡，保障業(yè)務運行的隔離性，可靠性和性能。大部分采取趨動科技池化方案上線生產(chǎn)業(yè)務的客戶，可獲得3倍以上的提升收益。
場景三的解決方案：
打造一站式自動駕駛AI開發(fā)、訓練、運維的解決方案，提供CPU、物理GPU、OrionX vGPU、存儲等多種資源，實現(xiàn)界面化統(tǒng)一申請、調(diào)度、監(jiān)控和運維，同時實現(xiàn)AI開發(fā)和訓練任務級別的界面化管理，提升車企或自動駕駛企業(yè)算法研發(fā)效率，兼顧算法工程師和運維工程師等不同人員對AI平臺的多樣化需求。
舉個例子：
如果把GPU比作大巴車，AI的計算任務比作旅游團。計算量最小的任務，就如同三五人的小團體；計算量大的任務自然是上百人的大型旅行團。在傳統(tǒng)的算力分配模式中，無論計算量大或者小，都會至少占用一個硬件單元。就像小團體出游，卻占用整個大巴車，剩余的座位都是空的。正是這種模式，浪費了大量算力，降低了GPU芯片的利用率。
我們是否可以對傳統(tǒng)算力分配模式顛覆。用最直觀的比喻來說，做出一款可以“隨需應變、動態(tài)伸縮”的大巴車。用戶不再使用物理AI芯片，取而代之的是隨需應變、動態(tài)伸縮的虛擬AI芯片。
數(shù)據(jù)中心也是算力池化非常合適的場景。在數(shù)據(jù)中心里，最主要是由服務器提供算力，但是因為GPU非常昂貴，一般來說，不會每臺服務器都配備GPU。如果能夠通過軟件定義AI算力可以幫助用戶讓應用跑在沒有GPU的服務器上，通過網(wǎng)絡使用其他服務器的GPU算力。未來網(wǎng)絡基礎設施會變得越來越好，如果網(wǎng)絡條件足夠好，大膽暢想，甚至可以幫助用戶在省、市的范圍內(nèi)來調(diào)配算力。
幫助用戶根據(jù)需求來動態(tài)伸縮使用的資源。比如說，某一用戶的任務剛啟動時只需要一個甚至半個GPU，但是隨著運行的不斷推進，需要的計算量越來越大，就需要10個GPU，甚至更多。通過軟件可以根據(jù)具體需求，動態(tài)變化所使用的資源。
技術演進：GPU從虛擬化到資源池化
學術界和產(chǎn)業(yè)界一直在探索如何更優(yōu)使用GPU資源，這些技術基本可以歸納為GPU池化發(fā)展的四個階段：
階段1，簡單虛擬化。將單物理GPU按固定比例切分成多個虛擬GPU，比如1/2或1/4,每個虛擬GPU的顯存相等，算力輪詢。最初是伴隨著服務器虛擬化的興起，解決虛擬機可以共享和使用GPU資源的問題
階段2，任意虛擬化。支持將物理GPU按照算力和顯存兩個維度靈活切分，實現(xiàn)自定義大小虛擬GPU（通常算力最小顆粒度1%，顯存最小顆粒度1MB），滿足AI應用差異化需求。切分后的小顆粒度虛擬GPU可以滿足虛擬機，容器的使用
階段3，遠程調(diào)用。重要技術突破在于支持GPU的跨節(jié)點調(diào)用，AI應用可以部署到數(shù)據(jù)中心的任意位置，不管所在的節(jié)點上有沒有GPU。在該階段，資源納管的范圍從單個節(jié)點擴展到由網(wǎng)絡互聯(lián)起來的整個數(shù)據(jù)中心，是從GPU虛擬化向GPU資源池化進化的關鍵一步
階段4，資源池化。關鍵點在于按需調(diào)用，動態(tài)伸縮，用完釋放。借助池化能力，AI應用可以根據(jù)負載需求調(diào)用任意大小的虛擬GPU，甚至可以聚合多個物理節(jié)點的GPU；在容器或虛機創(chuàng)建之后，仍然可以調(diào)整虛擬GPU的數(shù)量和大小；在AI應用停止的時候，立刻釋放GPU資源回到整個GPU資源池，以便于資源高效流轉(zhuǎn)，充分利用
GPU池化發(fā)展的四個階段
GPU池化：站在整個數(shù)據(jù)中心的高度解決問題。OrionX AI算力資源池化軟件不同組件的功能及邏輯架構，通過各組件“各司其職”，能為用戶實現(xiàn)單機多租戶細粒度切分、多機資源聚合、遠程算力調(diào)用、資源池彈性伸縮等目標；同時由于OrionX支持異構算力的管理和共享，所以能站在整個數(shù)據(jù)中心的高度解決GPU利用率低、成本高、分配與管理難等問題，建立數(shù)據(jù)中心級加速資源池。
OrionX基于API Forwarding的基本原理和邏輯架構
注：（本節(jié)內(nèi)容選自趨動科技CEO Talk：GPU池化技術的演進與發(fā)展趨勢）
注：（本節(jié)內(nèi)容選自趨動科技CEO Talk：GPU池化技術的演進與發(fā)展趨勢）
構建國家算力骨干網(wǎng)
2020年底，國家發(fā)展改革委、中央網(wǎng)信辦、工業(yè)和信息化部、國家能源局四部門聯(lián)合出臺《關于加快構建全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系的指導意見》提出，到2025年，全國范圍內(nèi)數(shù)據(jù)中心形成布局合理、綠色集約的基礎設施一體化格局。2021年5月，前述四部門正式印發(fā)《全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實施方案》（《實施方案》），明確提出布局全國算力網(wǎng)絡國家樞紐節(jié)點，啟動實施“東數(shù)西算”工程，構建國家算力網(wǎng)絡體系。
其實就像是電網(wǎng)和天然氣網(wǎng)，算力對于有些地方來說是完全不夠用的，而對于有的地方則是空有一手的「算力」卻無處使。簡單來說，興建人工智能計算中心之后會面臨三點問題：
不同區(qū)域AI算力使用存在波峰波谷，各地獨立的人工智能計算中心無法實現(xiàn)跨域的動態(tài)調(diào)配
全國人工智能發(fā)展不均衡，不同區(qū)域有各自優(yōu)勢，各地獨立的人工智能計算中心無法實現(xiàn)跨區(qū)域的聯(lián)合科研和應用創(chuàng)新、資源互補
各地獨立的人工智能計算中心產(chǎn)生的AI模型、數(shù)據(jù)，難以實現(xiàn)全國范圍內(nèi)順暢流動、交易，以產(chǎn)生更大的價值
算力網(wǎng)絡匯聚和共享算力、數(shù)據(jù)、算法資源，最終實現(xiàn)「一網(wǎng)絡，三匯聚」：
網(wǎng)絡：將人工智能計算中心的節(jié)點通過專線連接起來形成人工智能算力網(wǎng)絡
三匯聚：算力匯聚、數(shù)據(jù)匯聚、生態(tài)匯聚
算力匯聚：連接不同節(jié)點的高速網(wǎng)絡，實現(xiàn)跨節(jié)點之間的算力合理調(diào)度，資源彈性分配，從而提升各個人工智能計算中心的利用率，實現(xiàn)對于整體能耗的節(jié)省，后續(xù)可支持跨節(jié)點分布學習，為大模型的研究提供超級算力
數(shù)據(jù)匯聚：政府和企業(yè)共同推進人工智能領域的公共數(shù)據(jù)開放，基于人工智能計算中心匯聚高質(zhì)量的開源開放的人工智能數(shù)據(jù)集，促進算法開發(fā)和行業(yè)落地
生態(tài)匯聚：采用節(jié)點互聯(lián)標準、應用接口標準，實現(xiàn)網(wǎng)絡內(nèi)大模型能力開放與應用創(chuàng)新成果共享，強化跨區(qū)域科研和產(chǎn)業(yè)協(xié)作
各地算力中心就像大腦中數(shù)億個突觸，人工智能算力網(wǎng)絡正如神經(jīng)網(wǎng)絡。如此看來，算力網(wǎng)絡的重要意義之一便是通過匯聚大數(shù)據(jù)+大算力，使能了大模型和重大科研創(chuàng)新，孵化新應用。進而實現(xiàn)算力網(wǎng)絡化，降低算力成本，提升計算能效。最終打造一張覆蓋全國的算力網(wǎng)絡，實現(xiàn)算力匯聚、生態(tài)匯聚、數(shù)據(jù)匯聚，進而達到各產(chǎn)業(yè)共融共生。
