機械之心報道

編纂：杜偉、陳萍

這項使命又讓咱們回到那個舊調重彈的成果：Transformer 真的是******的嗎？

多智能體強化學習 (MARL) 是一個具備挑戰性的成果，它不光需要識別每一個智能體的策略改善偏差，而且還需要將單個智能體的策略更新散漫起來，以普及部份功能。***近，這一成果患上到開始解決，有鉆研職員引入了會集磨煉散漫推廣 (CTDE) 的方式，使智能體在磨煉階段可能拜候全局信息。可是，這些方式無奈涵蓋多智能體交互的全副重大性。

事實上，其中一些方式還被證實是失敗的。為了解決這個成果，有人提出多智能體劣勢分解定理。在此根基上，HATRPO 以及 HAPPO 算法被推導進去。可是，這些方式也存在規模性，這些方式依然依附于精心妄想的***大化指標。

近些年來，序列模子（SM）在人造語言解決（NLP）畛域取患了素質性妨礙。如 GPT 系列、BERT 在寬泛的鄙俚使命上呈現卓越，而且在小樣本泛化使命上取患了較強的功能。

因為序列模子與語言的序列特色人造適宜，因此可用于語言使命，可是序列方式不光限于 NLP 使命，而是一種寬泛適用的通用根基模子。比喻，在合計機視覺 (CV) 中，可能將圖像分割成子圖并將它們按次列部署，就彷佛它們是 NLP 使擲中的 token 同樣 。近期比照馳名的模子 Flamingo、DALL-E 、 GATO 等都有序列方式的影子。

隨著 Transformer 等網絡架構的泛起，序列建模技術也引起了 RL 社區的極大關注，這增長了一系列基于 Transformer 架構的離線 RL 開辟。這些方式在解決一些***根基的 RL 磨煉成果方面呈現出了重大的后勁。

盡管這些方式取患了清晰的樂成，但不一種方式被妄想用來建模多智能體系統中***難題 (也是 MARL 特有的) 的方面——智能體之間的交互。事實上，假如重大地給予所有智能體一個 Transformer 策略，并對于其妨礙徑自磨煉，這依然不能保障能普及 MARL 散漫功能。因此，盡管有少許細小的序列模子可用，但 MARL 并無真正運用序列模子功能劣勢。

若何用序列模子解決 MARL 成果？來自上海交通大學、Digital Brain Lab、牛津大學等的鉆研者提出一種新型多智能體 Transformer(MAT，Multi-Agent Transformer)架構，該架構可能實用地將相助 MARL 成果轉化為序列模子成果，其使命是將智能體的審核序列映射到智能體的***優措施序列。

本文的指標是在 MARL 以及 SM 之間建樹橋梁，以便為 MARL 監禁今世序列模子的建模能耐。MAT 的中間是編碼器 - 解碼器架構，它運用多智能體劣勢分解定理，將散漫策略搜查成果轉化為序列決定規畫歷程，這樣多智能體成果就會呈現出線性光陰龐漂亮，***緊張的是，這樣做可能保障 MAT 干燥功能降職。與 Decision Transformer 等先前技術需要預先收集的離線數據區別，MAT 以在線策略方式經由去自情景的在線試驗以及過錯妨礙磨煉。

• 論文地址：https://arxiv.org/pdf/2205.14953.pdf
• 項目主頁：https://sites.google.com/view/multi-agent-transformer

為了驗證 MAT，鉆研者在 StarCraftII、Multi-Agent MuJoCo、Dexterous Hands Manipulation 以及 Google Research Football 基準上妨礙了寬泛的試驗。服從表明，與 MAPPO 以及 HAPPO 等強基線比照，MAT 具備更好的功能以及數據功能。此外，該鉆研還證明了無論智能體的數目若何變換，MAT 在沒見過的使命上呈現較好，可是說是一個低劣的小樣本學習者。

布景常識

在本節中，鉆研者首先介紹了相助 MARL 成果公式以及多智能體劣勢分解定理，這是本文的基石。而后，他們回顧了現有的與 MAT 相干的 MARL 方式，***后引出了 Transformer。

傳統多智能體學習范式（左）以及多智能體序列決定規畫范式（右）的比力。

成果公式

相助 MARL 成果個別由離散的全副可審核馬爾可夫決定規畫歷程（Dec-POMDPs）

在了解特殊倒錐錨栓的過程我們知道，它是結合了普通化學錨栓和后擴底錨栓的優點而成的。一方面通過化學膠粘劑保證錨栓與混凝土體的連接強度，另一方面又通過倒錐體與混凝土機械鎖鍵保證錨栓與混凝土體的連接強度，具備較好的抗震性能，還具有耐酸堿、耐低溫、耐水漬、耐老化等特點。

來建模。

多智能體劣勢分解定理

智能體經由 Q_π(o, a)以及 V_π(o)來評估行動以及審核的值，界說如下。

定理 1（多智能體劣勢分解）：令 i_1:n 為智能體的部署。如下公式始終建樹，無需進一步假如。

緊張的是，定理 1 提供了一種用于教訓若何抉擇漸進式改善行動的直覺。

現有 MARL 方式

鉆研者總結了當初兩種 SOTA MARL 算法，它們都構建在近端策略優化（Proximal Policy Optimization, PPO）之上。PPO 是一種以簡潔性以及功能晃動性馳名的 RL 方式。

多智能體近端策略優化（MAPPO）是******將 PPO 運用于 MARL 中的***間接方式。

異構智能體近端策略優化（HAPPO）是當初的 SOTA 算法之一，它可能短缺運用定理 (1) 以實現具備干燥降職保障的多智能體信賴域學習。

Transformer 模子

基于定理 (1) 中形貌的序列屬性以及 HAPPO 眼前的道理，如今可能直不雅地思考用 Transformer 模子來實現多智能體信賴域學習。經由將一個智能體團隊視作一個序列，Transformer 架構應承建模具備可變數目以及規范的智能體團隊，同時可能防御 MAPPO/HAPPO 的弱點。

多智能體 Transformer

為了實現 MARL 的序列建圭表尺度式，鉆研者提供的解決妄想是多智能體 Transformer（MAT）。運用 Transformer 架構的思路源于這樣一個事實，即智能體審核序列 （o^i_1，...，o^i_n） 輸入與措施序列（a^ i_1 , . . . , a^i_n）輸入之間的映射是相似于機械翻譯的序列建模使命。正如定理 (1) 所回避的，措施 a^i_m 依附于先前所有智能體的決定規畫 a ^i_1:m?1。

因此，如下圖（2）所示，MAT 中包羅了一個用于學習散漫審核呈現的編碼器以及一個以自回歸方式為每一個智能體輸入措施的解碼器。

編碼器的參數用φ 呈現，它以恣意挨次獲取審核序列（o^i_1 , . . . , o^i_n），并將它們傳遞經由多少個合計塊。每一個塊都由一個自留意力機制、一個多層感知機（MLP）以及殘差銜接組成，以防御隨深度削減泛起梯度消逝以及網絡進化。

解碼器的參數用θ呈現，它將嵌入的散漫措施 a^i_0:m?1 , m = {1, . . . n}（其中 a^i_0 是調唆解碼開始的恣意符號）傳遞到解碼塊序列。至關緊張的是，每一個解碼塊都有一個掩碼的自留意力機制。為了磨煉解碼器，鉆研者將如下裁剪 PPO 指標***小化。

MAT 中的具體數據流如下動圖所示。

試驗服從

為了評估 MAT 是否適宜預期，鉆研者在星際爭霸 II 多智能體挑戰（SMAC）基準（MAPPO 在之上具備低劣功能）以及多智能體 MuJoCo 基準上（HAPPO 在之上具備 SOTA 功能）對于 MAT 妨礙了測試。

此外，鉆研者還在 Bimanual Dxterous Hand Manipulation (Bi-DexHands)以及 Google Research Football 基準上了對于 MAT 妨礙了擴充測試。前者提供了一系列具備挑戰性的雙手操作使命，后者提供了一系列足球游戲中的相助場景。

***后，因為 Transformer 模子個別在小樣轉使命上呈現出細小的泛化功能，因此鉆研者置信 MAT 在未見過的 MARL 使命上也能具備相似細小的泛化能耐。因此，他們在 SMAC 以及多智能體 MuJoCo 使命上妄想了零樣本以及小樣本試驗。

相助 MARL 基準上的功能

如下表 1 以及圖 4 所示，對于 SMAC、多智能體 MuJoCo 以及 Bi-DexHands 基準來說，MAT 在簡直所有使命上都清晰優于 MAPPO 以及 HAPPO，表明它在同談判異構智能體使命上細小的構建能耐。此外，MAT 還患上到了優于 MAT-Dec 的功能，標明了 MAT 妄想中解碼器架構的緊張性。

同樣地，鉆研者在 Google Research Football 基準上也患上到了相似的功勤勉效，如下圖 5 所示。

MAT 用于小樣本學習

表 2 以及表 3 中總結了每一種算法的零樣本以及小樣本服從，其中粗體數字呈現***佳功能。

鉆研者還提供了數據相同狀態下 MAT 的功能，其與比力組同樣重新開始磨煉。如下表所示，MAT 取患了大少數***佳成果，這證明了 MAT 小樣本學習的細小泛化功能。