NeurIPS 2025 Spotlight | 條件表征學習：一步對齊表征與準則

2025-10-16 08:57:00

本文提出了條件表征學習，通過獲取指定準則下的文本基，并將圖像表征投影到該文本基張成的空間中，即可得到該準則下表現力更強的條件表征，以更好地適應各種下游任務。

本文第一作者為四川大學博士研究生劉泓麟，郵箱為tristanliuhl@gmail.com，通訊作者為四川大學李云帆博士后與四川大學彭璽教授。

一張圖片包含的信息是多維的。例如下面的圖 1，我們至少可以得到三個層面的信息：主體是大象，數量有兩頭，環境是熱帶稀樹草原（savanna）。然而，如果由傳統的表征學習方法來處理這張圖片，比方說就將其送入一個在 ImageNet 上訓練好的 ResNet 或者 Vision Transformer，往往得到的表征只會體現其主體信息，也就是會簡單地將該圖片歸為大象這一類別。這顯然是不合理的。

圖 1：傳統表征學習（上）與條件表征學習（下）的比較。傳統的表征學習方法只能學習到一種通用的表征，忽略了其他有意義的信息；文章提出的條件表征學習能夠基于指定準則，得到該準則下表現力更強的條件表征，適應多種下游任務。

此外，在各大電商平臺，用戶通常根據不同的標準（例如顏色、材質或場合）搜索商品。例如，用戶今天可能搜索 “紅色連衣裙”，明天搜索 “正裝”，后天搜索某個全新的關鍵詞。這對于擁有龐大規模商品的平臺來說，手動打標簽是不現實的，而傳統的表征學習也僅僅只能獲取到 “連衣裙” 這個層面的信息。

要獲取圖片中除了 “大象”、“連衣裙” 之外的信息，一個很容易想到的方法就是進行針對性的有監督訓練：基于不同的準則比如環境，進行額外的標注，再從頭訓練或者基于已有表征訓練一個額外的線性層。但是基于這種方式，顯然是 “治標不治本” 的。因為一旦有了新的需求，便又需要進行針對性的數據收集、標注和訓練，需要付出大量的時間和人力成本。

很幸運的，我們處在多模態大模型的時代，這個在以前可能會很困難的問題在今天是有很多解法的。我們可以直接通過詢問 LLaVA，它便會告訴我們圖片在指定準則下的信息。但這種方式也還不夠高效，至少在 2025 年的今天，多模態大模型的使用成本還是需要考慮的。如果需要處理 ImageNet 之類的大規模數據集或者電商平臺繁雜的商品，得到其在指定準則下的信息，這個開銷就比較大了。所以對大多數人來說，現如今要獲取圖片的多維信息，還是需要找到一個更加高效的方法。

論文標題：Conditional Representation Learning for Customized Tasks
論文鏈接：https://arxiv.org/abs/2510.04564
代碼鏈接：https://github.com/XLearning-SCU/2025-NeurIPS-CRL

方法

我們知道，對于三維直角坐標系，一組基，比如 [(1, 0, 0), (0, 1, 0), (0, 0, 1)]，其線性組合即可構建出該坐標系中的任何向量。類似的，對于顏色體系，只需要 “紅”、“綠”、“藍” 三原色即可調出所有的顏色。

受此啟發，我們想到，是否對于任意一個給定的準則，也存在著一個對應的 “概念空間” 及其基？如果能在這個空間中找到一組基，那么我們只需要將原始表征投影到該空間上，理論上就能獲得在該準則下更具表現力和判別性的特征。

找到給定準則對應的基，這聽起來有些困難。但沒關系，我們不需要很準確地找到，只需要接近它就好。

基于這個想法，論文提出了一種即插即用的條件表征學習方法。如圖 2 所示，給定準則（例如 “顏色”），CRL 首先讓大語言模型 LLM 生成該準則相關的描述文本（例如 “紅色”，“藍色” 和 “綠色” 等）。隨后，CRL 將由 VLM 得到的通用圖片表征，投影到由描述文本張成的空間中，得到該準則下的條件表征。該表征在指定的準則下表達更充分，并且具有更優的可解釋性，能有效適應下游定制化任務。