Gradient Boosting

Gradient Boosting là gì?

Gradient Boosting là kỹ thuật học máy thuộc nhóm ensemble learning, xây dựng mô hình dự báo theo trình tự, trong đó mỗi mô hình con (weak learner) mới sẽ học và sửa các sai sót của mô hình trước đó bằng cách tối ưu hóa hàm mất mát theo phương pháp gradient descent. Các thuật toán phổ biến gồm XGBoost, LightGBM, CatBoost.

Đặc điểm

• Xây dựng tuần tự: Các cây quyết định (decision tree) được thêm dần, không song song như Random Forest.
• Tối ưu bằng gradient: Mỗi mô hình mới khớp với gradient âm của hàm mất mát, giảm sai số tích lũy.
• Kiểm soát overfitting: Sử dụng learning rate, số lượng cây, max_depth và regularization (L1/L2).
• Hiệu quả cao: Thường cho kết quả tốt trong các bài toán phân loại và hồi quy với dữ liệu dạng bảng.

Ví dụ

Ngân hàng TMCP Á Châu (ACB) ứng dụng Gradient Boosting (XGBoost) để phát hiện giao dịch gian lận (fraud detection): mô hình tổng hợp hàng triệu giao dịch lịch sử, học các mẫu bất thường (giao dịch lúc 2h sáng, giá trị bất thường, IP lạ) để cảnh báo thời gian thực. Theo Thông tư 17/2024/TT-NHNN, các hệ thống AI trong ngân hàng phải đảm bảo tính minh bạch, giải thích được (explainable AI), tránh thiên kiến thuật toán gây ảnh hưởng quyền lợi khách hàng.