Sam Altman最近在世界經濟論壇上發言，稱達到人類級別的AI很快就會降臨。

但是，正如LeCun一直以來所言，如今的AI連貓狗都不如。現在看來的確如此。

GPT-4V、LLaVA等多模態模型圖像理解力足以讓人驚嘆。但是，它們并非真的能夠做的面面俱到。

CV大神謝賽寧稱有一個問題讓自己徹夜難眠——

不論分辨率或場景復雜程度如何，凍結的視覺編碼器通常只能「提取一次」全局圖像token。

舉個栗子，一張雜亂的桌面上放了一個「星巴克」陶瓷杯，而且logo圖案僅漏出一半的情況下。

對此，GPT-4V卻無法正確識別出來，還產生了幻覺。

再比如，圖片中小孩的鞋子是什么顏色這樣直觀的問題。

GPT-4V給出了「白色」的答案。

為了解決這個LLM圖像理解的隱疾，「視覺搜索」這一關鍵方法能夠為大模型提供視覺信息。

對此，來自UC San Diego和紐約大學的研究人員提出了V*——引導視覺搜索作為多模態LLM的核心機制。

論文地址：https://arxiv.org/pdf/2312.14135.pdf

具體來說，研究人員將VQA LLM與視覺搜索模型相結合。

借助大模型的世界知識，V*對視覺目標進行多輪引導搜索。它能夠提取局部特征，并將其添加到工作記憶中，然后，VQA LLM利用搜索到的數據生成最終反應。

有網友表示， V*模型和論文，在我看來意義重大。

就比如，GPT-4V無法解決的「谷歌機器人驗證」，V*就可以直接找到遺漏的最后一個交通燈。

「視覺搜索」神助攻

實現「人類智能」的標志之一，便是能夠處理和整合多感官信息，從而完成復雜的任務。

在我們涉及視覺信息的認知推理過程中，「視覺搜索」無處不在，即在雜亂的桌子上尋找鑰匙，或在人群中尋找朋友。

此外，對于需要多個推理步驟的復雜任務來說，「視覺搜索」也是一個不可或缺的步驟。

受人類能力的啟發，研究人員提出了SEAL（Show、SEArch和TelL），這是一種通用元架構，用于將LLM引導的視覺搜索機制集成到MLLM中，以解決模型的視覺限制。

再如上，GPT-4V識圖失敗的栗子，SEAL便可輕松完成。

一堆毛絨玩具中，一個猩猩抱著什么樂器？

GPT-4V：薩克斯

SEAL：吉他

繁華的都市中，一位男子手中提了一打礦泉水的瓶子是什么logo？

GPT-4V：看不清

SEAL：依云

還有行李箱上的小掛件是哪家公司的？

GPT-4V：Rubbermaid Commercial

SEAL：英特爾

在一個更直觀的中，籃球運動員的球衣數字是幾號？

GPT-4V：10

SEAL：8

類似的例子還是有很多，看得出不論是簡單的，還是復雜的視圖中，GPT-4V全軍覆沒。

那么，SEAL框架是由何構成的？

SEAL框架+V*視覺搜索算

具體來說，SEAL框架由「VQA LLM」和「視覺搜索模型」兩部分組成。

典型的MLLM模型可能會由于視覺編碼器的信息不足，而拒絕回答或瞎猜（即幻覺）。

與之不同，SEAL中的VQA LLM可以明確地查明缺失的視覺細節，從而為以下對象創建目標對象重點。

然后，利用豐富的世界知識和語言模型的常識，視覺搜索組件定位這些已識別的元素，并將它們添加到視覺工作記憶（VWM）中。

VWM中的這些附加視覺數據，使VQA語言模型能夠提供更準確、更明智的響應。

左側部分代表VQA LLM，它利用視覺工作記憶中的所有數據來回答問題。右側展示了V*視覺搜索算法流程

值得一提的是，SEAL的適應性使其能夠與各種MLLM基礎模型配合使用。

在論文的例子中，研究人員使用LLaVA作為視覺搜索模型中的VQA LLM和MLLM。

借助這種新的視覺搜索功能，MLLM能夠更好地處理，在高分辨率圖像中進行準確視覺基礎的情況。

人類的視覺搜索過程受自上而下的特征引導和上下文場景引導，因此作者設計了一種名為V*引導視覺搜索算法，其視覺搜索模型也遵循類似的原則。

對于人類來說，這種引導主要來自于他們對物理世界的知識和經驗。

因此，這一視覺搜索模型是建立在另一個MLLM的基礎上的，它涵蓋了關于世界的大量常識性知識，并能根據這些知識有效推理出目標在場景中的可能位置。

實驗評估

現有的MLLM基準主要側重于，提供跨各種任務類別的綜合評估，并且沒有充分挑戰上述當前范式的具體局限性。

為了彌補這一差距并評估全新框架，作者引入了V–Bench，這是一種新的專用VQA基準，專注于高分辨率圖像的視覺基礎。

V-Bench是一個以視覺為中心的基準測試，要求多模態模型準確地提供特定的視覺信息，而這些信息很容易被缺乏視覺搜索功能的標準靜態視覺編碼器所忽視。

在圖像和視頻等豐富而復雜的視覺內容日益占據主導地位的世界中，MLLM能夠積極關注關鍵視覺信息以完成復雜的推理任務至關重要。

該基準旨在強調這一基本機制的重要性，并指導MLLM的進化，以反映人類認知固有的多模態處理和推理能力。

如下是，V–Bench上不同搜索策略的評估結果。

在具體消融實驗中，使用了V*算法的Vicuna-7B的模型表現更優。

最后，視覺搜索幾十年來一直是cogsci/視覺科學的核心問題。有趣的是，與人眼注視相比，LLM引導V*可以達到與人類視覺搜索相當的效率！

LLM引導視覺搜索的過程如下。

作者介紹

Penghao Wu

Penghao Wu目前是加州大學圣迭戈分校計算機科學專業的碩士研究生。他于2018年在上海交通大學獲得電氣與計算機工程學士學位。從2023年6月開始，他便成為紐約大學研究實習生，導師是謝賽寧。

Saining Xie（謝賽寧）

謝賽寧目前是紐約大學計算機科學助理教授。據個人主頁介紹，他本科畢業于上海交通大學，18年獲加州大學圣迭戈分校CS博士學位。

畢業后，便在Facebook AI Research（FAIR）擔任研究科學家。

他還曾與何愷明大神共同提出了用于圖像分類的簡單、高度模塊化的網絡結構ResNeXt，這篇論文發表在了CVPR 2017上。