國際跳棋在1997年敗給深藍，圍棋在2016年敗給AlphaGo，而撲克機器人也早已持續戰勝人類職業選手。但有一款名為Stratego
的經典棋類遊戲一直未被攻克。即便擁有雄厚預算的DeepMind，也未能開發出一款能夠穩定擊敗頂尖人類選手的程序。
如今，一個由卡內基梅隆大學、麻省理工學院、紐約大學和斯坦福大學研究人員組成的團隊做到了這一點。他們開發的AI名為Ataraxos，以15勝1負4平的成績擊敗了公認史上最強的Stratego選手Pim Niemeijer。而訓練這款AI僅用了16塊GPU和幾千美元的成本。
隱藏的軍隊
在Stratego遊戲中，每位玩家擁有40個代表軍事等級的棋子，從元帥到間諜，還包括炸彈和旗子。玩家需要攻占對手的旗子才能獲勝。對手能看到你棋子所在的位置，卻不知道棋子的身份。棋子身份只有在兩枚棋子對戰相撞時才會揭曉——較弱的一方被移除，勝者的身份也隨之暴露。這使得Stratego成為一款不完全資訊博弈遊戲，就像撲克一樣，而電腦早已攻克了撲克。"Stratego有一個非常獨特之處，那就是存在大量隱藏資訊，且這些資訊要在很長的時間跨度內才會逐漸揭曉，"紐約大學研究員、論文共同作者Eugene Vinitsky說。
在某些撲克類型中，隱藏資訊量很小。在德州撲克中，"你只有兩張隱藏的牌，"麻省理工學院電腦科學家、論文另一位共同作者Gabriele Farina說。這意味著總共只有1326種可能的手牌組合，數量少到機器可以逐一權衡計算。"而在Stratego中，棋盤上有40枚棋子，可以以任意順序排列，"Farina說。這意味著存在超過十的三十三次方種可能的布局方式。此外還有遊戲時長的問題。
"西洋棋通常在40步左右就能結束，但Stratego的一局遊戲很容易持續2000步，"Farina說。除此之外，Stratego還是一款充滿虛張聲勢的遊戲。有時你會把一枚弱棋子當作元帥來移動，只是為了嚇退對手。如果玩家虛張聲勢太頻繁，他們的威脅就會毫無意義；但如果從不虛張聲勢，他們又會變得容易被預測。研究團隊解釋說，正是這種微妙的平衡，難住了包括DeepMind在2022年推出的DeepNash等早期AI系統。
學習猜測
與DeepNash一樣，Ataraxos通過與自己對弈來學習——累計進行了1.63億場對局。在這些自我對弈的過程中，導致勝利的走法會被強化，並在未來的對局中更頻繁地使用；而導致失敗的走法則會減少使用頻率，這是同樣簡單的訓練理念。不同之處在於Ataraxos在每局結束後調整策略的幅度，因為隱藏資訊往往會使自我對弈學習算法陷入循環打轉。研究團隊通過在訓練初期進行大幅度、激進的策略調整，而在後期進行小幅度、謹慎的調整，解決了這個問題。
更大的創新在於DeepNash從未具備的一項能力：在每次落子前進行前瞻思考。像AlphaGo這樣的AI會在行動前通過搜索來完善其整體策略。而DeepMind未能在Stratego中實現這一點，因為搜索空間實在過於龐大，這也使得這種方法是否值得嘗試一直懸而未決。
"這正是我們成功攻克的難題之一，"Farina說。解決方案是引入第二個神經網路，即信念模型，該模型經過訓練，可以根據對手棋子的移動方式來推測其隱藏棋子的身份。這樣一來，Ataraxos無需遍歷每一種可能的排列組合，而是對合理的排列進行採樣，在每種排列中推演候選走法，並根據推演結果做出選擇。
這一點也體現在它的對弈風格上。
冷靜而不動聲色
Ataraxos這個名字來源於古希臘語，意為一種平靜的狀態。"它的意思是指一個冷靜、不受外界干擾的人，"Farina解釋道。他表示，這款AI的結構設計以及缺乏人類情感的特性，確保了它不會衝動行事，"即便在人類可能會情緒失控的局面下也是如此。"當人類可能會在大比分落後時嘗試冒險翻盤，Ataraxos則會以緩慢而有條理的方式慢慢扳回局面。
Q&A
Q1：Ataraxos是什麼？它的主要成就是什麼？
A：Ataraxos是由卡內基梅隆大學、麻省理工學院、紐約大學和斯坦福大學研究人員聯合開發的AI系統，它以15勝1負4平的成績擊敗了公認史上最強的Stratego選手Pim Niemeijer，是首個能穩定擊敗頂尖人類選手的Stratego AI。
Q2：為什麼Stratego遊戲比圍棋、西洋棋更難被AI攻克？
A：因為Stratego存在大量隱藏資訊，棋盤上40枚棋子可以以超過十的三十三次方種方式排列，且遊戲長度可達2000步，同時還涉及虛張聲勢的博弈平衡，這些因素共同導致其難度遠超以往被攻克的棋類遊戲。
Q3：Ataraxos訓練成本是多少？用了什麼技術突破？
A：Ataraxos僅用16塊GPU、幾千美元成本，通過1.63億場自我對弈完成訓練。其關鍵突破是引入了一個"信念模型"神經網路，用於推測對手隱藏棋子的身份，從而實現落子前的前瞻思考。
