Boosting

Boosting là gì?

Boosting là kỹ thuật học máy thuộc nhóm Ensemble Learning, trong đó nhiều mô hình yếu (weak learners) được kết hợp tuần tự để tạo thành một mô hình mạnh (strong learner) có độ chính xác vượt trội. Ý tưởng cốt lõi là mỗi mô hình con sẽ tập trung sửa những lỗi mà mô hình trước đó mắc phải, thông qua cơ chế gán trọng số lại cho các quan sát trong tập dữ liệu huấn luyện sau mỗi vòng lặp.

Đặc điểm

• Huấn luyện tuần tự: các mô hình được xây dựng lần lượt, mô hình sau phụ thuộc kết quả mô hình trước, không song song như Bagging.
• Điều chỉnh trọng số: các mẫu bị phân loại sai được tăng trọng số ở vòng lặp tiếp theo, buộc mô hình tập trung vào các ca khó.
• Giảm bias: boosting chủ yếu giảm độ chệch (bias) thay vì giảm phương sai (variance).
• Kết hợp có trọng số: đầu ra cuối cùng thường là tổ hợp có trọng số của các mô hình con, mô hình nào tốt hơn được đánh trọng số cao hơn.
• Thuật toán phổ biến: AdaBoost, Gradient Boosting Machine (GBM), XGBoost, LightGBM, CatBoost.

Ví dụ

Trong ngân hàng Việt Nam, boosting được ứng dụng rộng rãi trong xây dựng mô hình chấm điểm tín dụng (credit scoring). Theo Quyết định 2345/QĐ-NHNN năm 2019 về hệ thống xếp hạng tín dụng nội bộ, các tổ chức tín dụng phải có hệ thống đánh giá rủi ro khách hàng. Ngân hàng có thể dùng XGBoost - biến thể hiệu quả của Gradient Boosting - để tổng hợp hàng trăm biến đầu vào (thu nhập, lịch sử giao dịch, hành vi sử dụng thẻ, quan hệ tín dụng) thành một điểm xếp hạng tín dụng duy nhất. So với mô hình logistic truyền thống, XGBoost thường cải thiện AUC từ 0,72 lên 0,81-0,85, giúp phân loại khách hàng tốt/xấu chính xác hơn, hỗ trợ quyết định cho vay và định giá lãi suất theo rủi ro.