這項由哈爾濱工業大學與華為諾亞方舟實驗室聯合完成的研究，以預印本形式於2026年6月30日發布在arXiv平台，編號為arXiv:2606.31924，研究方向屬於電腦視覺領域的可控圖像生成。
先來描述一個讓人抓狂的日常場景。你找到一張參考圖，想讓AI按照這張圖的姿勢和布局，重新畫出六個各有特色的人物——左邊是穿紅金戰甲的鋼鐵人，旁邊是身著藍白戰袍的蜘蛛人，中間是穿著冰藍色禮服的艾爾莎……你把這段描述輸入當前最強的圖像生成工具，滿懷期待地等待結果。圖片生成了，卻發現鋼鐵人穿上了藍色衣服，蜘蛛人變成了金色，艾爾莎的裙子變成了紅色——顏色、服裝、甚至人物特徵全部張冠李戴，像是一場亂入的化妝舞會。
這個惱人的問題在業內有個專屬名稱，叫"屬性混淆"。越是複雜的場景、越多的人物出現在同一張圖裡，AI就越容易搞混每個角色的專屬屬性。這就像一個健忘的服裝助理，手裡拿著十套戲服，分不清哪件該給哪個演員穿。
現有的一些解決方案要求用戶在每個人物區域上手動畫出範圍框、或者逐一標註每個實例的位置，才能告訴AI"這裡是人物A，那裡是人物B"。但這種操作費時費力，普通用戶很難做到，更不用說在複雜的十幾個人物場景里逐一標註了。
哈工大與華為諾亞方舟實驗室的研究團隊在這篇論文中提出了一個叫做InstanceControl的全新框架，其核心思路是：讓AI自己去搞清楚文字描述和圖像區域之間的對應關係，而不是依賴人工標註。他們藉助視覺語言模型（一種既能看圖又能讀文字的AI），讓系統自動從描述文字里解析出每個人物的屬性，同時自動識別圖像中每個人物所在的區域，從而建立起精準的"張冠李戴防護機制"。研究結果表明，這套系統不僅超過了同樣不需要人工標註的現有方法，甚至在部分指標上超過了需要人工標註才能工作的專業工具。
一、"服裝助理"的困境：為什麼AI總搞混人物屬性
要理解這個研究解決的核心問題，先從AI繪圖的工作原理說起。當前主流的圖像生成工具，比如基於FLUX或Stable Diffusion的ControlNet系列，工作方式大致是這樣的：用戶提供一段文字描述，同時提供一張"視覺條件圖"——比如一張邊緣線條圖（canny edge）或者深度圖，系統會根據這兩個輸入生成圖像。視覺條件圖告訴AI圖中各個元素的空間布局，文字描述告訴AI每個元素長什麼樣子。
問題就出在這個"告訴"的過程上。當圖中只有一兩個人物時，AI還能比較準確地把文字屬性對應到正確位置。但當場景里同時出現六個、八個、甚至十幾個實例時，AI就像一個同時被十個人交代任務的助理，很快就會把"紅色戰甲給鋼鐵人"和"藍色戰袍給蜘蛛人"這兩條指令混淆——這本質上是因為AI沒有一個清晰的"實例級別對應機制"，不知道文字中描述人物A的那段話，究竟對應圖像里哪一塊區域。
現有的改進方案分兩種路線。一種是讓用戶手動提供每個實例的區域標註，比如畫出邊界框或者分割蒙版，然後再附上對應的文字描述——這就相當於告訴助理"第一件紅色戰甲放在左邊第三個衣架上，屬於鋼鐵人"，這樣助理就不會搞混了。代表性工具包括EliGen、CreatiLayout、Seg2Any等。另一種是完全不做實例標註，依賴模型本身去理解複雜場景——以FLUX ControlNet為代表，但效果往往在複雜多實例場景下大打折扣。
InstanceControl選擇了第三條路：不要用戶手動標註，但也不放任AI自由發揮，而是引入一個"中間人"——視覺語言模型，讓它自動完成原本需要人工完成的實例對應工作。
二、兩階段流水線：先"點名"再"對號入座"
InstanceControl的整個工作流程可以分成前後緊密銜接的兩個階段，每個階段各司其職，共同完成從文字和參考圖到精準圖像的生成任務。
第一階段的核心任務，是在文字描述和視覺條件圖之間建立起實例級別的精準對應關係。可以把這個階段理解為"先點名，再對應座位"。具體來說，系統需要做兩件事：從複雜的文字描述里找出每個實例的屬性描述，同時在視覺條件圖里找到每個實例對應的區域。
這件事聽起來簡單，實際上有相當的挑戰性。現有的視覺語言模型和圖像分割工具（比如LISA等），主要針對真實照片設計，而且要求文字描述和圖像內容在語義上高度一致。但在InstanceControl的應用場景里，用戶給的視覺條件圖可能只是一張黑白邊緣線條圖，裡面的人形輪廓沒有任何顏色資訊，而文字里寫的卻是"身穿紅金戰甲的鋼鐵人"——這兩者之間的語義鴻溝，讓現有工具直接失效，因為它們無法把一個只有輪廓的人形和"鋼鐵人"這個語義關聯起來。
為了解決這個問題，研究團隊精心構建了一個專用的訓練數據集，並專門微調了視覺語言模型，使其具備在這種"語義不對齊"場景下仍能完成準確對應的能力。他們還設計了一種類比式數據增強方法，用另一個AI工具把圖像中的實例替換成語義相似但具體不同的類別，從而製造大量"文字描述和視覺內容看起來不直接匹配"的訓練樣本，強迫模型學會更深層的推理對應能力。
第一階段的技術實現建立在Sa2VA這個架構基礎上，這是一個將SAM（Segment Anything Model，一種能對任意圖像進行分割的基礎模型）和大型視覺語言模型整合在一起的框架。系統接收視覺條件圖和文字描述作為輸入，通過視覺語言模型生成一段格式化的文字響應，其中每個實例的描述短語都被標記出來，並附帶一個特殊的SEG標記（分割標記）和一個唯一的實例編號。隨後，系統把每個SEG標記對應的隱藏向量提取出來，輸入到SAM的解碼器中，得到該實例在視覺條件圖上的分割蒙版，以及一個反映這塊蒙版預測可信度的置信度分數。
這個過程中有一個精巧的設計值得特別說明，叫做"共享SEG標記策略"。在複雜的長文本描述中，同一個人物往往會在不同句子裡被多次提及——比如先說"她穿著紫色上衣"，後面又說"她背著綠色手提包"。如果每次提及都生成一個獨立的SEG標記，最後得到的蒙版可能不一致甚至相互矛盾。研究團隊的解決方案是，把屬於同一個實例的所有SEG標記的特徵向量拼接在一起，作為一個統一的表示輸入到SAM解碼器，這樣無論這個實例在文字里被提到多少次，最終都只對應一個連貫一致的區域蒙版。
三、蒙版不完美怎麼辦：動態精煉策略
有了第一階段生成的實例蒙版，第二階段就要把這些對應關係真正注入圖像生成過程中。但這裡有一個棘手的現實問題：第一階段預測出的蒙版並非完美無缺。有時候蒙版範圍不完整，漏掉了實例的某個部分；有時候位置有偏差，邊界沒有完全對準；還有時候整個實例都被漏掉了。如果把一個不準確的蒙版直接當做硬性約束施加給生成過程，最終結果會更差。
研究團隊為此設計了一個蒙版精煉模組，其工作邏輯可以用一句話概括：置信度高的時候相信預測蒙版，置信度低的時候轉而參考生成模型自己的"直覺"。
這個"直覺"來自於注意力機制。在擴散模型（當前主流圖像生成技術的基礎）的生成過程中，模型內部的交叉注意力圖可以揭示"模型認為這段文字應該對應圖像哪個區域"。研究團隊把這種注意力資訊提取出來，形成一個"注意力蒙版"，作為預測蒙版的補充參考。
蒙版精煉模組是一個輕量級的U-Net網路，輸入包括預測蒙版、注意力蒙版、置信度分數以及當前的圖像潛在特徵，輸出一個經過綜合判斷後的精煉蒙版。當置信度分數高時，精煉蒙版會貼近預測蒙版；當置信度分數低時，精煉蒙版會向注意力蒙版靠攏。網路內部同時設計了實例內部的注意力機制和不同實例之間的注意力機制，讓精煉過程能夠同時考慮單個實例的內部一致性和多個實例之間的空間關係。
得到精煉蒙版之後，系統構建一個"對應蒙版矩陣"。這個矩陣的作用是給圖像生成模型的注意力機制加上一層精準的過濾器：屬於實例A區域的圖像像素，只被允許關注描述實例A的文字標記；屬於背景區域的像素，則可以自由關注所有文字標記；而來自不同實例的像素之間則被強制隔離，防止屬性滲透。在技術實現上，這個矩陣被以對數形式加入到注意力計算的分子中，當矩陣值趨近於1時，注意力計算恢復正常；當矩陣值趨近於0時，對應的注意力權重被壓制到接近負無窮，相當於完全切斷了這對像素與文字標記之間的資訊流動。
整個第二階段在FLUX圖像生成框架上通過LoRA微調實現，先用真實蒙版訓練基礎對應能力，再在預測蒙版上訓練蒙版精煉模組。
四、數據從哪來：五萬張圖的精心烹製
任何AI系統的效果都離不開數據支撐，而InstanceControl的訓練數據構建本身就是一項相當複雜的工程，因為現有數據集存在兩大通病：要麼文字描述太短、實例太少，要麼實例描述和整體文字提示是分離的，不符合InstanceControl需要的"實例描述嵌入在長文本中"的格式。
研究團隊從SAM資料庫、COCO數據集和UniWorld-V1數據集中精選了五萬張圖像及其對應的分割蒙版，過濾掉無效或無關的蒙版，保證每張圖的實例密度在合理範圍內——平均每張圖包含約11.64個實例。隨後，針對每張圖，他們調用Gemini 2.5 Pro生成詳細的長文本描述，平均每段描述約183個詞，確保場景中的每個實例都有細緻的屬性刻畫。再次調用Gemini 2.5 Pro，結合蒙版疊加在原圖上的可視化效果，從長文本中精確提取出對應每個實例的關鍵名詞短語，建立起文字到蒙版的對應關係。
最後一道關鍵工序是對比增強數據的構建。為了讓模型具備處理"文字描述和視覺內容不直接對應"場景的能力，團隊利用Nano Banana（Google的圖像生成編輯工具）將數據集中的部分實例替換成語義相近但具體不同的類別——比如把一隻貓換成一隻狗，或者把一件藍色夾克換成一件綠色外套——製造出超過一千個"語義相似但視覺內容被修改"的對比樣本，讓模型在訓練時學會更魯棒的對應推理能力。
對應視覺條件，研究團隊還為每張圖提取了三種不同類型的視覺條件：canny邊緣圖（只保留物體輪廓線條）、深度圖（用灰度表示場景的遠近層次）和HED圖（一種更豐富的邊緣檢測結果）。這樣訓練出的InstanceControl對多種視覺條件都具備泛化能力，而不是只能處理一種特定類型的輸入。
五、實驗結果：量化數字背後的真實差距
研究團隊在兩個評測基準上對InstanceControl進行了全面測試，並與六種現有方法展開對比。MIG-Eval是他們基於自己構建數據集專門設計的評測基準，包含5400張測試圖像，每張圖都附有詳細文字描述、實例蒙版和從文字中提取的對應實例描述。COCO-POS是一個公開的獨立評測數據集。
評測指標覆蓋三個維度。空間對齊度用平均交並比（MIoU）衡量，反映生成圖像中各實例所在位置是否和參考蒙版吻合；區域質量用Local CLIP分數和Accuracy兩項指標衡量，前者評估生成的實例區域和對應文字描述的語義匹配程度，後者調用Qwen2-VL-72B這個大型視覺語言模型來逐項核查空間關係、顏色、形狀和紋理是否和描述相符；全局質量用FID分數和ImageReward分數衡量，前者評估生成圖像整體的真實感，後者評估人類對圖像整體質量的偏好。
在不需要人工標註的方法中，InstanceControl相比FLUX ControlNet的提升相當顯著。以canny邊緣條件為例，空間對齊度（MIoU）從0.6526提升到0.8250，顏色準確率從73.30%躍升至87.78%，形狀準確率從73.93%提升到88.19%，紋理準確率從79.24%提高到90.88%，Local CLIP分數也從16.48提高到18.51，FID分數從14.04降低到10.03（FID越低越好，說明生成圖像更接近真實圖像分布）。深度圖和HED條件下的提升幅度相似，這說明InstanceControl的優勢並不依賴於特定的視覺條件類型。
更令人在意的對比是，InstanceControl（不需要人工標註版本）甚至超過了部分需要人工標註的方法。以顏色準確率為例，EliGen（需要人工標註邊界框）達到84.98%，CreatiLayout（需要人工標註邊界框）達到80.87%，而InstanceControl在不需要任何標註的情況下，canny條件下達到了87.78%，HED條件下更達到了88.75%。這意味著自動化的對應建立已經能夠在實際效果上與人工標註競爭，而用戶完全不需要付出額外的標註勞動。
研究團隊還把InstanceControl與Qwen-Image ControlNet和Nano Banana這兩個集成了理解和生成能力的統一模型進行了對比，在隨機選取的300張MIG-Eval測試圖上，InstanceControl在MIoU、Local CLIP、顏色準確率、形狀準確率、紋理準確率、ImageReward和FID七項指標上均超過了這兩個對比方法。
六、消融實驗：逐塊拆解，驗證每個設計的價值
為了證明每個設計決策都是有效的而非多餘的，研究團隊進行了系統性的消融實驗。
關於共享SEG標記策略的效果，對比實驗表明，不使用這一策略時，MIoU從0.8250降至0.8214，顏色準確率從87.78%降至85.89%，形狀準確率從88.19%降至86.46%，FID從10.03升至10.30。這說明對同一實例的多次描述進行統一處理，對最終生成效果有實質性的貢獻，尤其是在顏色和形狀這些屬性維度上效果更明顯，因為這些屬性往往分散在文字描述的不同位置。
關於蒙版精煉模組的效果，實驗對比了三種蒙版方案：直接使用預測蒙版、使用置信度加權的插值蒙版（即根據置信度分數在預測蒙版和注意力蒙版之間做線性混合）和使用精煉模組生成的精煉蒙版。直接使用預測蒙版時，顏色準確率為84.88%，形狀準確率為85.48%，FID為10.93；使用線性插值方案時，顏色準確率提升到85.91%，形狀準確率提升到86.26%，FID降至10.06；使用精煉模組時，顏色準確率進一步提升到87.78%，形狀準確率提升到88.19%，FID降至10.03。線性插值方案和精煉模組的對比尤其有意義，它說明簡單的加權平均雖然有效，但無法捕捉到複雜場景中多實例之間的交互關係，而精煉模組通過內部的注意力機制能夠處理這種複雜性。
研究團隊還分析了第一階段和第二階段之間的關聯。第一階段的分割效果達到了MIoU 0.71的水平，並且第一階段MIoU和第二階段顏色等屬性準確率之間呈現出正相關關係——第一階段分割越準確，第二階段的屬性控制就越精準。第一階段最常見的失敗類型是蒙版不完整（漏掉了實例的部分區域）、定位偏移（蒙版邊界有誤差）和完全漏掉某個實例。蒙版精煉模組對不完整蒙版具有相當強的魯棒性，能夠把這類情況的平均Accuracy從87.97%提升到90.10%；而定位偏移和漏檢這兩種更嚴重的錯誤則可能對第二階段造成更大影響，但結合交互式修正功能（見下段），也能進一步提升到93.19%。
七、用戶可以介入修正：交互式蒙版修正功能
考慮到自動預測並非萬無一失，研究團隊還為InstanceControl設計了一個交互修正機制。當系統生成的精煉蒙版效果不理想時，用戶可以在視覺條件圖上點擊一個點或者畫出一個邊界框，給出額外的位置線索，系統會結合這個用戶輸入重新預測蒙版，從而在生成圖像時得到更準確的結果。
論文中展示了一個具體案例：場景里有三件外套並排放置，其中一件是紅色派克大衣。自動預測的蒙版把這件紅色派克大衣的區域標註得不太準確，但用戶只需在紅色派克大衣所在區域點擊一個點，系統就能重新生成一個準確的蒙版，最終生成的圖像也因此更好地還原了紅色派克大衣的視覺特徵。這個功能的存在讓InstanceControl在自動化效率和精準可控性之間取得了一個靈活的平衡點。
說到底，InstanceControl解決的核心問題是AI圖像生成領域長期存在的"屬性張冠李戴"困境，而且解決方式相當優雅——不是靠更多的人工勞動，而是靠讓AI自己建立起文字和圖像之間的精準對應關係。對於普通用戶來說，這意味著將來使用AI繪圖工具時，即使場景里有十幾個各具特色的人物，也可以期待每個人物的顏色、服裝和細節都能被精準還原，而不需要手動給每個人物畫出邊界框。對於內容創作者、遊戲開發者、影視從業者這些需要精確控制大量角色視覺屬性的專業用戶，這項技術的實用價值尤其突出。有興趣深入了解技術細節的讀者，可以通過arXiv編號2606.31924找到完整論文，項目主頁地址為instancecontrol.github.io/InstanceControl。
Q&A
Q1：InstanceControl和普通ControlNet有什麼核心區別？
A：普通ControlNet只接收文字和視覺條件圖，沒有明確區分不同實例的機制，在多人物場景里容易把顏色、服裝等屬性搞混。InstanceControl增加了一個自動建立"文字描述與圖像區域精準對應"的前置階段，讓每段人物描述只影響圖中對應的那塊區域，從而避免屬性混淆。簡單說，ControlNet是整體處理，InstanceControl是逐人物精準綁定。
Q2：InstanceControl生成一張複雜多人物圖片需要用戶手動操作哪些步驟？
A：基本上不需要手動標註區域。用戶只需提供視覺條件圖（比如邊緣線條圖）和文字描述，系統會自動完成人物識別和區域劃分。唯一可選的手動操作是當某個人物的蒙版預測不準確時，用戶可以點擊一個點或畫一個框來輔助修正，但這是可選功能，不是必須步驟。
Q3：InstanceControl的訓練數據是怎麼構建的？
A：研究團隊從SAM、COCO和UniWorld-V1三個數據集中選取了五萬張圖，用Gemini 2.5 Pro生成平均約183個詞的詳細描述，再用Gemini 2.5 Pro提取每個實例對應的文字短語，建立對應關係。此外還用圖像編輯工具製作了超過一千個"文字與圖像內容不直接對應"的對比訓練樣本，增強模型的泛化能力。
