5 月 27 日至 28 日,2023 全球開源技術峰會(Global Open-source Technology Conference,GOTC)在上海張江科學會堂隆重舉行。華為攜多個議題亮相峰會,在眾多業界精英和技術愛好者面前展示其在人工智能、AI 編程、eBPF、Rust、開源安全、大前端、云原生、汽車等領域的最新成果和研究進展。
峰會主論壇之上,華為首席開源聯絡官 、CNCF 基金會董事 、開源安全委員會副主席任旭東提出觀點:大型科技企業成為開源的主力軍,開源的馬太效應正在進一步增強。如何駕馭開源,將會是未來開發者、公司之間最大的差別的主要因素。
在華為,開源是戰略和業務驅動的結果。一方面,華為持續開源創新,踐行可持續開源,推動開源生態繁榮,另一方面,華為開源使能產業升級,推動智能世界加速到來。
華為的開源實踐,已有十多年的時間,是最早把 Linux 基金會帶到國內的企業之一。之后,華為又陸續加入了Apache 軟件基金會、Eclipse 基金會等25家國際主流開源基金會。可以說,華為是最早的積極融入國際化社區的一家企業。華為在2008年已成立開源能力中心,逐步建立了開源可信社區體系,鼓勵公司開發者為上游社區積極貢獻代碼。在公司內部,為了更好地擴大代碼共享和分享機制,華為持續開展內部開源能力的建設。近幾年,華為基于在 ICT 行業幾十年的積累,聚焦基礎軟件開源,并加大對上游社區的回饋和建設。
本次峰會之上,多位來自華為的技術專家,開源項目、社區負責人介紹了華為在具體開源項目上所做的努力與成果。
云原生未來
華為云云原生團隊開源技術專家、Google Open Source Peer Bonus 獲得者徐中虎暢談了 Istio 新模式 Ambient Mesh 的相關特性與未來發展。
Istio 新模式 Ambient Mesh 是與 Sidecar 完全不同的新模式。自 2017 年 istio 開源以來,Sidecar 一直被視為零入侵代理的革命性創新。然而,五年過去了,用戶發現有許多副作用很難通過 Sidecar 解決。除了 Sidecar 之外,Istio 社區前不久宣布了另一種數據平面模式 Ambient Mesh,它旨在簡化操作、更廣泛的應用程序兼容性和降低基礎架構成本。
徐中虎將對 Ambient 模式進行了整體介紹,并與 Sidecar 模式進行比較,事實上二者在安全方面幾乎一樣安全。徐中虎表示,Ambient 現在還存在一些問題,Ambient 2023 年年底 GA,屆時會重點補齊標準 Istio API 的功能 GAP。而采用 Ambient Mesh 的時間或許在更遠的 2024 年。
華為云高級軟件工程師、Volcano 社區 member 汪洋介紹了一種基于 Volcano 的輕量級編排引擎 JobFlow。工作流編排引擎廣泛應用于高性能計算、AI、生物醫藥、圖片處理、美顏、游戲 AGI、科學計算等場景,幫助用戶簡潔化管理多個任務的并行與依賴關系,大幅度提升整體計算效率。
現下,云原生批量計算面臨著作業管理、領域框架支持、調度和性能等方面的挑戰,Volcano 雖然提供了優秀的基于作業的任務編排功能,但缺乏作業編排能力。
JobFlow 恰恰是一種輕量化的任務流編排引擎,專注于云原生批量計算平臺 Volcano 的作業編排,為 Volcano 提供多樣化作業依賴類型。目前,JobFlow 已經可以應用在多個場景中,如 AI 模型訓練推理一體化、多任務的復雜依賴場景等等。
華為云高級工程師,KubeEdge 社區 Member 趙然博士介紹了一款云原生邊緣智能設備管理框架:KubeEdge DMI。來自上海道客網絡科技有限公司研發工程師、KubeEdge 社區 Member 劉琛林與趙然共同完成此次分享。
KubeEdge 是基于 Kubernetes 構建的云原生邊緣計算開源平臺,已成為 CNCF 的孵化項目。KubeEdge 支持復雜邊云網絡環境下的云邊應用協同,并提供邊緣設備管理框架 (DMI),以云原生數字孿生模型的形式支持多種協議的邊緣設備管理。
在 DMI 框架設計下,設備不再是單純的數據源,而是被抽象為微服務,以云原生的方式為設備數據消費者提供數據服務。DMI 框架下的設備數據訪問支持多種場景,非常靈活。DMI 框架可以為基于 KubeEdge 的邊緣智能設備云原生化管理提供有力支持。
華為云高級軟件工程師,Sermant 社區 Committer 李來分享了云原生微服務治理技術朝無代理架構的演進之路,以及華為的相關實踐。李來認為,云原生的歸納,業界從來沒有停止過演進。但是總體來講,微服務和容器化基本上是兩個永恒不變的話題。
李來重點講述了微服務架構的演進,對各個架構的局限性和優勢進行剖析,并引出當前以及未來演進的云原生無代理微服務架構形態和代表性開源項目 Sermant。Sermant 是基于 JavaAgent 無代理的服務網格技術。其利用 JavaAgent 為宿主應用程序提供增強的服務治理功能,以解決大規模微服務體系結構中的服務治理問題。
Sermant 的愿景還包括構建插件開發生態系統,以幫助開發人員更容易地開發服務治理功能,同時不干擾業務代碼。
openGemini 社區運營總監向宇分享了 openGemini 高性能背后的核心技術設計。隨著物聯網技術在各行業快速發展,大數據存儲和分析正逐漸成為各行業的新業態,傳統數據庫已無法滿足業務對海量遙測數據存儲和分析的性能要求,一種具備高并發、高吞吐、低成本和低時延的時序數據庫正受到越來越多企業的關注。openGemini 是一款開源的國產時序數據庫,它具備卓越的性能。
openGemini 兼容 InfluxDB、Prometheus 生態 API,具有高性能、高擴展、存儲-分析一體化、運維成本低、高數據壓縮率等 5 大優勢。可應用在運維監控方面,實時監控,洞察所有系統運行狀態。在物聯網方面,openGemini 具有高性能、分布式、部署靈活等特性,支持億級時間線管理和納秒級時間精度,可滿足工業物聯網領域中海量數據存儲、高吞吐量數據讀寫的需求。
大模型方案與應用
華為資深開源工程師何蘆微帶來了昇思大模型的實踐分享。
人工智能發展到今天,已經從”大煉模型“逐步邁向”煉大模型“。相比傳統針對特定應用場景需求進行訓練的模型,大模型泛化能力強,不再局限于單一特定場景,也因此它需要更大更廣數據量的”投喂“,需要更強的算力訓練,這些都需要巨量的成本,絕大部分開發者基本無法承擔,如何降低大模型的訓練和應用門檻成了新的難題。
而昇思 MindSpore 社區打造的一站式大模型平臺,帶來一站式的易用體驗。何蘆微介紹,昇思上承應用下接芯片,承擔了人工智能操作系統的關鍵角色。它集模型選型、在線推理、在線訓練為一體,支持大模型的在線體驗及微調,讓開發者零距離接觸紫東·太初以文生文,悟空畫畫以文生圖,Luojia 遙感檢測等大模型應用。同時,昇思大模型平臺還堅持打造大模型開源生態,使能垂直行業,賦能百萬開發者。
華為云 Dev AI Lab Leader、智能化研發算法技術專家馬宇馳博士詳細介紹了華為代碼大模型的方案與應用。OpenAI 的報告顯示,未來 47-56% 的工作內容將受 LLM 沖擊,其中編程受沖擊最大。而隨著大模型技術和 Copilot 的逐步普及,AI 平臺能力將會越來越強。
華為云 CodeArts Snap 智能編程助手沉淀了華為自主研發的代碼大模型和軟件分析技術,賦能開發者高效、可信開發,支持主流編程語言和 IDE 生態。CodeArts Snap 可實現 FastAPI 調用實現 MongoDB 數據庫查詢,數據讀取與流水線構建,腳本運行上傳 OBS。
未來,馬宇馳認為新時代軟件研發由三個關鍵角色即可組成未來完整的軟件研發全棧團隊:產品專家、架構專家、OA 專家,大量軟件研發工作將協同 AI 完成,極速開發迭代,智能高效測試,無人化運維管理。
大前端新趨勢
華為終端軟件部應用開發框架首席架構師、華為 Web 技術 C-TMG 主任余枝強分享了關于萬物智聯下的應用框架 ArkUI 的思考和探索。
應用框架是操作系統連接開發者生態,實現用戶體驗的關鍵基礎設施。其中,開發效率和運行體驗是永恒的訴求,業界也在持續不斷的發展和演進。余枝強重點圍繞移動應用框架,梳理其關鍵發展脈絡,并分析其背后的技術演進思路以及目前的局限;同時,進一步結合萬物智聯的新場景和新生態,圍繞相應的應用框架的設計和演進。
ArkUI 是鴻蒙生態的原生開發框架。ArkUI 設計是在 TS 的基礎上演進出可對標原聲體驗的聲明式開發框架,而 ArkUI 生態可分層對接架構、具備跨 OS 平臺能力。
華為公共開發部 CTO 辦公室前端架構師陳超濤介紹了一款 DOM 級別精準更新的類 React 前端框架 Horizon。使用傳統 Hooks 容易出現過期閉包,導致 useEffect 使用到的數據不是最新數據等痛點,因此需要響應式框架來解決問題。Horizon 沿用了虛擬 DOM,提供與 React 一致的 API 特性,做到無縫兼容相關生態。 同時也提供了另外一套細粒度的響應式 API,基于不同的渲染方式,使頁面能夠獲得更好的性能表現。
此外,在配套設施上, Horizon 配備應用開發最常用 4 款組件,瀏覽器調試工具,以及編譯器優化插件。陳超濤還介紹了 Horizon 的寓意,Horizon 為地平線,寓意我國的軟件像太陽一樣從地平線冉冉升起!
華為 Web 前端開發專家莫春輝帶來企業級前端開源組件庫 OpenTiny 的相關分享。OpenTiny是一套跨端跨框架的企業級組件庫解決方案,提供華為沉淀多年的前端應用開發基礎設施;不僅提供 Vue 組件庫,還提供 Angular 組件庫、主題配置系統、腳手架 CLI 工具等;OpenTiny 還與華為工業軟件云產品部門合作,挖掘生態伙伴,打造企業用戶案例,開展社區運營。
莫春輝還重點介紹了 OpenTiny 的 Vue 版本組件庫 TinyVue,TinyVue 具備三大核心競爭力:第一個是配置式,既支持傳統組件庫的聲明標簽式用法,也支持屬性配置式用法。第二個是提供 150 多個組件的功能特性,覆蓋了華為內部 IT 超過 90% 領域的應用場景,目前有超過 3000 個華為內部用戶。另外具備跨端跨主題的能力,支持一套代碼同時適配 PC 端和移動端,并且實現業界首創一個組件庫同時支持 Vue2 和 Vue3 版本。
開源生態與產業
華為 開源管理中心工程師、LF CHAOSS Board 王曄暉帶來了 OSS-Compass 模型解讀與新功能發布的相關分享。
王曄暉介紹,OSS-Compass 的愿景和使命是通過構建可持續演進的開源生態評估體系和通用平臺;為圍繞開源生態可持續發展制定的各種決策,提供深入、持續和可靠的數據洞察,形成共識。王曄暉帶來了一些新功能,包括評估模型、洞察報告訂閱系統、開發者里程模型和 Compass lab 等。
報告訂閱系統可方便用戶及時獲取管理或關心社區的評估報告;開發者里程模型則幫助用戶了解開源社區中不同環節的體驗和晉升渠道是否通暢,以及軟件版本迭代和運營活動對開發者的影響;最后,Compass Lab 能夠幫助社區決策者定制適用于其社區的評估看板,更好地了解社區健康狀況。
華為開源安全咨詢獨立顧問王智共同帶來“防微杜漸,構筑企業開源安全防御體系”專題演講。
全球化 4.0 時代,開源蓬勃發展,也成為企業技術創新的有效手段。但開源軟件供應鏈收到廣泛的安全威脅。華為在擁抱開源基礎上,也積極投入資源進行開源安全工具及治理。華為針對軟件供應鏈安全的分析和實踐,包括基于 SBOM 的實踐,如 CI/CD 構建自動生成,合規和漏洞分析等,以及其他安全防護措施。
王智還分享了 5 個具體的開源安全工具鏈關鍵技術,包括實現“重復可構建”,供應鏈安全得到極大保障;實現“惡意軟件掃描”,有效遏制惡意攻擊場景;“SBOM服務”從源代碼溯源保障安全;漏洞排查與感知服務,提升軟件安全防護水平;數字簽名,提供軟件制品一致性安全保障。未來,華為將打造可信開源安全體系,構建開源安全產業生態。
除卻開源社區生態評估與開源安全建設外,開源技術在各產業中的落地實踐也尤為重要。
華為云云原生開源負責人王澤鋒分享了 KubeEdge 車云協同平臺創新實踐。
隨著智能化與網聯化的迅速發展,汽車應用與云端的聯系日趨緊密,借助云原生技術,電子架構可從單車架構快速發展為車云協同架構。KubeEdge 即 Kube+Edge,顧名思義就是依托 K8s 的容器編排能力和調度能力,實現云邊協同、計算下沉、海量設備的平滑接入。
KubeEdge 通過云原生與汽車應用的結合,實現車云協同平臺的創新架構,構建滿足汽車行業需求的云原生技術生態。
華為智能車基礎軟件技術專家丁天虹分享了基于 Linux 的汽車系統的安全。
Linux 在車載系統中被廣泛使用,特別是在電動汽車中,可以很好地處理信息娛樂系統,例如智能座艙的 IVI,然而信息娛樂系統只是整個汽車軟件系統的一部分,車載研發工程師會質疑 Linux 在關鍵系統(例如數字儀表盤、ADAS 和自動駕駛)上的功能安全表現,考慮到 Linux 擁有豐富的 AI、圖形和中間件生態系統,許多公司(包括華為)正在嘗試找到一種新的使用方式,使 Linux 能夠同時滿足安全和生態系統要求。
丁天虹還提出了一些 Linux 安全解決方案建設建議,比如一個簡單的規則——不進行重大的更改就不可能使 Linux 合格;需要更多思考的問題——操作系統內核并不是人工智能輔助駕駛軟件的首要任務;以及改變維度應該遵從安全是一個系統屬性的原則……
eBPF 與 Rust 技術實踐
華為高級軟件工程師鄭振宇分享了eBPF 與私密計算的生態結合及落地實踐。鄭振宇介紹,云原生時代,將業務運行在云平臺上意味著要信任各類供應商,這帶來了新的安全挑戰。而機密計算正是由機密計算聯盟 (CCC) 定義的一個行業術語:通過在基于硬件的受信任執行環境 (TEE) 中執行計算來保護使用中的數據。eBPF 作為一種跨平臺技術,可以運行沙盒程序來擴展特權系統組件”,如在 TEE 環境中,代碼是特權系統組件;在設計時場景中,設計一個擴展程序,將其部署到現有的保密虛擬機/容器/進程/庫中;在運行時場景中,可根據管理員輸入即時創建一個擴展程序,以在現有的保密虛擬機/容器/進程/庫中運行。
二者結合,便可有效提升安全性。鄭振宇以 openEuler 為例,openEuler 作為一個高性能、高安全、易運維數字基礎設施開源操作系統,提供了機密計算框架 secGear,實現軟硬件協同,提升安全優勢。此外,結合 eBPF 技術,openEuler 也在將內核能力、硬件加速能力服務化、集市化,惠及更多的社區用戶。
華為 Rust 開源技術專家李原分享了 Rust 并行編譯的挑戰與突破。編譯效率緩慢問題是 Rust 語言逐漸走向規模開發的道路中,必須面臨的挑戰。如今 Rust 的單線程編譯效率優化已面臨瓶頸,并行編譯則成為了突破瓶頸的關鍵技術。但并行編譯技術也面臨著挑戰,包括消減共享數據結構效率損失、并行環境內存分配器的設計、緩存系統訪問熱點效率瓶頸。當然,面對這些問題,業內也已經有了一些應對方案,如使用多線程內存分配器、線程分而治之來應對并行環境內存分配器方面的問題。
未來,李原認為,Rust 并行編譯的未來會從四個方面展開,包括抹平共享數據結構造成的性能差距,多線程環境下的編譯器度量方案,針對并行環境的編譯器測試,深化編譯器并行化。
經過在開源領域多年的積累與實踐,華為逐漸形成了自己的開源理念和價值主張,其核心是:深耕基礎軟件、持續開源創新、積極開源回饋、踐行可持續開源、使能產業升級、共培開源文化。
未來,華為也將持續深耕開源領域。通過持續貢獻,攜手伙伴,共建世界級開源社區,加速軟件創新和共享生態繁榮。
關注微信公眾號(kjxw001)及微博(中國科技新聞網)

