方法	效率	计算成本	易用性	适用场景
网格搜索	低	高	简单	参数空间小，精确搜索
随机搜索	中	中	简单	中等参数空间，快速迭代
贝叶斯优化	高	低	复杂	大型参数空间，计算昂贵模型

选择优化方法的指导原则

• 参数数量少（≤4）：使用网格搜索
• 参数数量中等（5-10）：使用随机搜索
• 参数数量多（>10）或模型训练慢：使用贝叶斯优化
• 当不确定参数重要性时：从随机搜索开始

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.datasets import load_iris

# 加载数据集
data = load_iris()
X, y = data.data, data.target

# 定义参数网格
param_grid = {
    'n_estimators': [50, 100, 200],
    'max_depth': [None, 5, 10],
    'min_samples_split': [2, 5, 10],
    'min_samples_leaf': [1, 2, 4]
}

# 创建模型
model = RandomForestClassifier(random_state=42)

# 设置GridSearchCV
grid_search = GridSearchCV(
    estimator=model,
    param_grid=param_grid,
    scoring='accuracy',
    cv=5,
    n_jobs=-1  # 使用所有可用的CPU核心
)

# 执行网格搜索
grid_search.fit(X, y)

# 输出最佳参数
print(f"最佳参数: {grid_search.best_params_}")
print(f"最佳得分: {grid_search.best_score_:.4f}")

# 使用最佳模型进行预测
best_model = grid_search.best_estimator_

代码说明：

• param_grid：定义了需要搜索的超参数空间
• scoring='accuracy'：使用准确率作为评估指标
• cv=5：使用5折交叉验证
• n_jobs=-1：使用所有CPU核心并行计算
• 最终输出最佳参数组合和对应的准确率

from hyperopt import fmin, tpe, hp, Trials
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import cross_val_score
from xgboost import XGBClassifier

# 加载数据集
data = load_breast_cancer()
X, y = data.data, data.target

# 定义目标函数
def objective(params):
    model = XGBClassifier(
        learning_rate=params['learning_rate'],
        max_depth=int(params['max_depth']),
        subsample=params['subsample'],
        colsample_bytree=params['colsample_bytree'],
        n_estimators=int(params['n_estimators']),
        random_state=42
    )
    score = cross_val_score(model, X, y, cv=5, scoring='accuracy').mean()
    return -score  # 最小化负准确率

# 定义搜索空间
space = {
    'learning_rate': hp.loguniform('learning_rate', -5, 0),
    'max_depth': hp.quniform('max_depth', 3, 10, 1),
    'subsample': hp.uniform('subsample', 0.6, 1.0),
    'colsample_bytree': hp.uniform('colsample_bytree', 0.6, 1.0),
    'n_estimators': hp.quniform('n_estimators', 50, 500, 50)
}

# 优化过程
trials = Trials()
best = fmin(
    fn=objective,
    space=space,
    algo=tpe.suggest,
    max_evals=100,
    trials=trials
)

# 输出最佳参数
print(f"最佳参数: {best}")

高级技巧

• 分层搜索：先优化最重要的参数，再优化次要参数
• 转移学习：将先前实验的结果用于指导新搜索
• 多目标优化：同时优化精度、速度和模型大小
• 自动化工具：考虑使用Optuna、Ray Tune等高级库