大模型掀起了新一輪算力狂飆

算力成為AI發展的瓶頸

單顆AI芯片無法繼續

為大模型提供充足的計算和存儲資源

盡管目前大模型參數達到了1萬億規模

但距離人腦約1000萬億個參數的規模相比

仍然存在較大差距！

在“國傳路演”活動中，超動力（北京）科技有限公司CTO李斌介紹了超動力算網一體架構的AI小超算服務器。超動力小超算是全新一代的AI服務器，采用顛覆性的算網一體超算架構，專為大模型推理而設計。一臺耗電不到300瓦的服務器即可輕松運行與ChatGPT規模相當的大模型，充分釋放人工智能的無限潛能。

此項目通過創新的體系結構和底層技術，實現了AI計算設備的運行能耗和建造成本的顯著降低。

核心思想是將超級計算的體系結構和無損以太網通信技術引入AI服務器內部，通過無損以太網構建并行計算集群，實現高效的集合通信。這樣的創新突破了傳統服務器馮諾依曼架構面臨的功耗墻問題，實現了從以計算為中心的傳統架構向以數據為中心的下一代架構的跨越。非常適合AI大模型的高度并行和數據密集型計算需求，有望從根本上解決AI大算力的困局。

此項目通過算網一體控制器，將各種類型的AI模型自動分拆到集群中的多個計算節點上并行執行，使得計算+通信的總和時間最小化，從而成倍地降低AI模型的推理時延。

通過嵌入式AI技術，包括模型剪裁、壓縮、算子融合和內存優化等，單個計算節點的效能提升了10倍以上，從而大幅度降低設備的成本和能耗。采用高性能以太網取代傳統AI服務器中的PCIe通信，項目顯著擴展了計算節點間的通信帶寬，計算節點之間可以直接通過共享內存和RoCE協議進行通信，減少了因數據多次緩存導致的傳送時延，提高了并行計算的加速比，同時有效降低了設備的成本和能耗。通過以上一系列創新，為AI上層應用，特別是大模型的普及奠定堅實的基礎。