當前，AI 模型雖然已經涉及非常廣泛的應用領域，但大部分 AI 模型是為特定任務而設計的，它們往往需要大量的人力來完成正確的模型架構、優化算法和超參數。ChatGPT、GPT-4 爆火之后，人們看到了大型語言模型（LLM）在文本理解、生成、互動、推理等方面的巨大潛力。一些研究者嘗試利用 LLM 探索通往通用人工智能（AGI）的新道路。

近期，來自德克薩斯州大學奧斯汀分校的研究者提出一種新思路 —— 開發任務導向型 prompt，利用 LLM 實現訓練 pipeline 的自動化，并基于此思路推出新型系統 AutoML-GPT。

論文地址：

https://papers.labml.ai/paper/35151be0eb2011edb95839eec3084ddd

AutoML-GPT 使用 GPT 作為各種 AI 模型之間的橋梁，并用優化過的超參數來動態訓練模型。AutoML-GPT 動態地接收來自 Model Card [Mitchell et al., 2019] 和 Data Card [Gebru et al., 2021] 的用戶請求，并組成相應的 prompt 段落。最后，AutoML-GPT 借助該 prompt 段落自動進行多項實驗，包括處理數據、構建模型架構、調整超參數和預測訓練日志。

AutoML-GPT 通過最大限度地利用其強大的 NLP 能力和現有的人工智能模型，解決了各種測試和數據集中復雜的 AI 任務。大量實驗和消融研究表明，AutoML-GPT 對許多人工智能任務（包括 CV 任務、NLP 任務）是通用的、有效的。

AutoML-GPT 簡介

AutoML-GPT 是一個依賴數據和模型信息來格式化 prompt 輸入段落的協作系統。其中，LLM 作為控制器，多個專家模型作為協作的執行者。AutoML-GPT 的工作流程包括四個階段：數據處理、模型架構設計、超參數調整和訓練日志生成。

具體來說，AutoML-GPT 的工作機制如下：

• 通過 Model Card 和 Data Card 生成固定格式的 prompt 段落
• 構建訓練 pipeline，在選定的數據集和模型架構上處理用戶需求
• 生成性能訓練日志并調整超參數
• 根據自動建議的（auto-suggested）超參數調整模型

輸入分解

AutoML-GPT 的第一階段是讓 LLM 接受用戶輸入。為了提高 LLM 的性能并生成有效的 prompt，該研究對輸入 prompt 采用特定的指令。這些指令包括三個部分：Data Card、Model Card、評估指標和附加要求。

如下圖 2 所示，Data Card 的關鍵部分由數據集名稱、輸入數據集類型（如圖像數據或文本數據）、標簽空間（如類別或分辨率）和默認評估指標組成。

如下圖 3 所示，Model Card 由模型名稱、模型結構、模型描述和架構超參數組成。通過提供這些信息，Model Card 能告知 LLM 整個機器學習系統使用了哪些模型，以及用戶對模型架構的偏好。

除了 Data Card 和 Model Card，用戶還可以選擇請求更多的評估基準、評估指標或任何約束。AutoML-GPT 將這些任務規范作為高級指令提供給 LLM，用于相應地分析用戶需求。

當有一系列需要處理的任務時，AutoML-GPT 需要為每個任務匹配相應的模型。為了達到這一目標，首先系統需要獲得 Model Card 和用戶輸入中的模型描述。

然后，AutoML-GPT 使用 in-context 任務 - 模型分配機制，動態地為任務分配模型。這種方法通過將模型描述和對用戶需求的更好理解結合起來，實現了增量模型（incremental model）訪問，并提供了更大的開放性和靈活性。

用預測訓練日志調整超參數

AutoML-GPT 根據 Data Card 和 Model Card 設置超參數，并通過生成超參數的訓練日志來預測性能。該系統自動進行訓練并返回訓練日志。在數據集上的模型性能訓練日志記錄了訓練過程中收集的各種指標和信息，這有助于了解模型訓練進展，找出潛在問題，以及評估所選架構、超參數和優化方法的有效性。

實驗

為了評估 AutoML-GPT 的性能，該研究使用 ChatGPT（OpenAI 的 GPT-4 版本）來實現它，并進行多項實驗從多個角度展示了 AutoML-GPT 的效果。

下圖 4 展示了使用 AutoML-GPT 在未知數據集上訓練的結果：

下圖 5 展示了 AutoML-GPT 在 COCO 數據集上完成目標檢測任務的過程：

下圖 6 展示了 AutoML-GPT 在 NQ 開放數據集（Natural Questions Open dataset，[Kwiatkowski et al., 2019]）上的實驗結果：

該研究還使用 XGBoost 在 UCI Adult 數據集 [Dua and Graff, 2017] 上評估了 AutoML-GPT，以探究其在分類任務上的性能，實驗結果如下圖 7 所示：

感興趣的讀者可以閱讀論文原文，了解更多研究細節。