當機器人擁有“思維能力”

將會是什么體驗？

感到口渴時，只需說一句“我渴了”

便會為您端來一杯水

發燒生病時，說一句“我發燒了”

退燒藥便會拿到您手邊

過去的機器人只能依托于編好的程序去完成指令，但現在大模型可以把“我發燒了”理解成拿退燒藥，然后指揮不同智能體的真機協同完成目標。

這意味著

影視劇中“無所不能”的

機器人管家將成為現實！

近日，西北工業大學光電與智能研究院李學龍教授和同事們在大模型異構智能體方面取得重大進展，實現了大模型對無人機集群、機器狗、機械臂三種智能體的真機協同控制。該成果展示了大模型在智能體控制方面的能力，也為智能無人系統的研究提供了無限可能。

在人工智能領域，大模型控制智能體是大勢所趨。團隊提出了一種大模型驅動的異構智能體協同控制算法框架，使異構智能體系統具備高層語義理解能力、自身技能認知能力和復雜任務執行能力。該框架可將一個跨場景、跨智能體的復雜任務，通過語義理解和任務分解拆分成異構智能體協同執行的多個子任務，然后通過無人機集群、機器狗、機械臂的聯合控制，實現異構智能體的高效協作。

注：異構智能體是由不同研發機構采用不同的技術和平臺創建的智能體，以及具有不同參數和性能的智能體。

懂所思、知所能、行所意

是大模型異構智能體的主要能力

1. 懂所思：高層語義理解能力

如何充分發揮大模型的語義理解能力，讓無人機、機器狗、機械臂等人造智能體能夠根據輸入的自然語言分工合作，是智能體在現實場景中執行復雜任務的前提條件。

針對該問題，團隊利用國產大模型作為語義理解底座，以無人機集群、機器狗、機械臂三種異構智能體作為協同控制平臺，設計了融合環境信息與自身狀態的語義交互框架，實現了對異構智能體任務理解、硬件控制、協調合作等復雜需求的高層語義交互。

2. 知所能：自身技能認知能力

智能體的行為能力易受周圍環境、自身機械結構等限制因素的影響。如何在多變的外界環境下讓智能體準確地認知當前自身的行為能力，是異構智能體協同的關鍵環節。

為了實現這一目標，團隊提出了異構智能體通用中層技能認知算法，實現了異構智能體間精細的硬件協同控制。在此基礎上，智能體通過自主環境感知、自身狀態建模、協同運動規劃，自適應地調整技能執行。

3. 行所意：復雜任務執行能力

為了完成復雜任務目標，異構智能體協作需要依據子任務間的依賴關系和環境約束，設計安全合理的子任務執行次序和方式。

針對該問題，團隊設計了多智能體閉環反饋的任務執行機制，實現了異構智能體在任務執行層面的自主協同。在任務執行的過程中，智能體向任務分解模塊報告子任務執行狀態，形成任務分配與執行動態閉環，實現任務目標導向的異構智能體高效協同。

該成果是大模型算法和智能體硬件交叉的創新性研究，實現了用更自然、更直觀的方式進行多種智能體的控制，降低了人機交互的門檻。同時，該研究也將促進異構智能體之間協作的自主性和流暢度，對人工智能在災難救援、工業生產等復雜場景下的靈活應用具有重要意義。