終于把機器學習中的超參數調優搞懂了！！！
作者：程序員小寒
超參數是用戶在模型訓練前需要手動設置的參數，與訓練過程中通過算法自動調整的參數（如神經網絡中的權重）不同。這些超參數直接控制著訓練過程和模型的行為，例如學習率、隱藏層的數量、隱藏層的節點數等。超參數的選擇對模型的表現至關重要。
大家好，我是小寒
今天給大家分享機器學習中的一個關鍵知識點，超參數調優
超參數調優是機器學習中調整模型超參數以優化模型性能的過程。
超參數是用戶在模型訓練前需要手動設置的參數，與訓練過程中通過算法自動調整的參數（如神經網絡中的權重）不同。這些超參數直接控制著訓練過程和模型的行為，例如學習率、隱藏層的數量、隱藏層的節點數等。超參數的選擇對模型的表現至關重要。
超參數調優的目的是找到一組最佳的超參數，使模型在驗證集上表現良好，能夠實現良好的泛化能力（即在新數據上具有較好的性能），同時避免過擬合或欠擬合。
圖片
超參數調優的重要性
- 性能優化
合適的超參數可以顯著提高模型的準確性、召回率等性能指標。 - 控制過擬合和欠擬合
超參數調節可以控制模型復雜度，降低過擬合和欠擬合的風險。 - 訓練效率
調整超參數（如學習率、批量大小）可以提高訓練速度并穩定收斂。
常見超參數調優方法
網格搜索
網格搜索是一種系統地搜索超參數空間的方法，它通過窮舉搜索遍歷所有可能的超參數組合。
對于每組超參數，模型在訓練集上訓練并在驗證集上評估性能，從而找到最佳組合。
圖片
步驟：
- 定義超參數及其可能取值范圍（通常是離散的值）。
- 生成所有可能的超參數組合。
- 逐一訓練模型并在驗證集上進行評估。
- 選擇使模型性能最優的超參數組合。
優點：
- 簡單易實現。
- 對于搜索空間較小的問題能找到全局最優解。
缺點：
- 計算復雜度高，隨著超參數的維度和可能取值數量增加，搜索空間呈指數級增長。
- 低效：如果某些超參數的作用較小或對模型性能影響不大，依然會浪費大量計算資源。
案例：
假設有一個分類模型，其超參數有：
- learning_rate: [0.001, 0.01, 0.1]
- max_depth: [3, 5, 7]
網格搜索將會嘗試以下組合：
(0.001, 3), (0.001, 5), (0.001, 7),
(0.01, 3), (0.01, 5), (0.01, 7),
(0.1, 3), (0.1, 5), (0.1, 7)一共 3 × 3 = 9 次訓練。
隨機搜索
隨機搜索是一種隨機采樣超參數空間的方法，它從所有可能的超參數組合中隨機選擇一定數量的組合進行嘗試，而不是窮盡所有可能性。
圖片
步驟：
- 定義超參數的分布范圍。
- 隨機采樣一定數量的超參數組合。
- 逐一訓練模型并在驗證集上進行評估。
- 選擇使模型性能最優的超參數組合。
優點：
- 計算效率高，通過減少搜索空間中的點，顯著降低計算成本。
- 效果較好，相比網格搜索，隨機搜索在高維空間中更有可能找到接近最優的解。
缺點：
- 沒有系統性，不保證找到全局最優解。
- 需要事先定義采樣數量。
案例：
假設超參數空間與上述網格搜索相同，但隨機搜索僅采樣 5 組超參數組合，例如：
(0.001, 7), (0.01, 5), (0.1, 3), (0.001, 5), (0.01, 3)相比網格搜索的 9 次訓練，這里僅訓練 5 次。
示例代碼
以下是使用 Python 實現網格搜索和隨機搜索的示例代碼。
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV, RandomizedSearchCV
from sklearn.datasets import make_classification
X, y = make_classification(n_samples=1000, n_features=20, random_state=42)
model = RandomForestClassifier(random_state=42)
param_grid = {
'n_estimators': [10, 50, 100],
'max_depth': [5, 10, 15],
'min_samples_split': [2, 5, 10]
}
# 網格搜索
grid_search = GridSearchCV(estimator=model, param_grid=param_grid, cv=3, scoring='accuracy')
grid_search.fit(X, y)
print("Best parameters (Grid Search):", grid_search.best_params_)
from scipy.stats import randint
param_dist = {
'n_estimators': randint(10, 200),
'max_depth': randint(5, 50),
'min_samples_split': randint(2, 20)
}
# 隨機搜索
random_search = RandomizedSearchCV(estimator=model, param_distributinotallow=param_dist, n_iter=10, cv=3, scoring='accuracy', random_state=42)
random_search.fit(X, y)
print("Best parameters (Random Search):", random_search.best_params_)責任編輯：武曉燕
來源：
程序員學長
