Hyperparameter Tuning

Hyperparameter Tuning là gì?

Hyperparameter Tuning (tối ưu siêu tham số) là quá trình tìm kiếm tổ hợp các tham số cấu hình mô hình tối ưu như learning_rate, max_depth, n_estimators, regularization nhằm tối đa hóa hiệu suất dự báo. Khác với tham số mô hình được học tự động từ dữ liệu, siêu tham số phải thiết lập trước khi huấn luyện và quyết định đáng kể đến chất lượng mô hình.

Đặc điểm

• Phương pháp phổ biến: Grid Search, Random Search, Bayesian Optimization, Optuna, Hyperband.
• Tiêu chí đánh giá: AUC-ROC, KS, Gini trên tập validation theo Quyết định 2974/QĐ-NHNN về xếp hạng tín dụng nội bộ.
• Chi phí tính toán: cao do phải huấn luyện lặp lại nhiều lần; thường kết hợp k-fold Cross-Validation để ổn định kết quả.
• Mục tiêu: cân bằng giữa bias và variance, tránh overfitting/underfitting trên dữ liệu ngoài mẫu.

Ví dụ

Ngân hàng X xây dựng mô hình XGBoost chấm điểm tín dụng khách hàng cá nhân theo Quyết định 2974/QĐ-NHNN. Mô hình khởi đầu đạt AUC = 0.72. Đội ngũ data scientist chạy Grid Search với max_depth ∈ {4,6,8}, learning_rate ∈ {0.01,0.05,0.1}, n_estimators ∈ {200,500,1000}, min_child_weight ∈ {1,3,5}. Cấu hình tối ưu max_depth=6, learning_rate=0.05, n_estimators=500 giúp AUC tăng lên 0.81, hệ số Gini đạt 62% vượt ngưỡng tối thiểu. Mô hình được triển khai phân nhóm khách hàng A1–A5 phục vụ quyết định cho vay tuân thủ Thông tư 39/2016/TT-NHNN và quản trị rủi ro theo Thông tư 13/2018/TT-NHNN.