XGBoost

XGBoost (Extreme Gradient Boosting) là gì?

XGBoost là thuật toán học máy thuộc họ ensemble gradient boosting, do Tianqi Chen phát triển năm 2014. XGBoost xây dựng tuần tự các cây quyết định (decision trees), trong đó mỗi cây mới học sai số dư (residual) của tổ hợp các cây trước nhằm tối thiểu hóa hàm mất mát. Thuật toán tích hợp cơ chế regularization (L1 và L2) giúp kiểm soát độ phức tạp mô hình, chống overfitting hiệu quả.

Đặc điểm

• Tốc độ huấn luyện nhanh nhờ song song hóa trên CPU/GPU và tối ưu bộ nhớ cache.
• Tích hợp regularization kiểm soát độ phức tạp, giảm thiểu hiện tượng quá khớp.
• Xử lý tự động giá trị thiếu (missing values) bằng thuật toán sparsity-aware split finding.
• Hỗ trợ early stopping, pruning cây theo max_depth và min_child_weight.
• Khả năng tính toán feature importance phục vụ giải thích mô hình (model interpretability).

Ví dụ

Tuân thủ Thông tư 13/2018/TT-NHNN về hệ thống xếp hạng tín nhiệm nội bộ, ngân hàng B triển khai mô hình XGBoost với 500 cây, độ sâu tối đa 6, learning rate = 0.05, subsample = 0.8 để ước lượng xác suất vỡ nợ (PD) của 80.000 khách hàng cá nhân. Mô hình đạt AUC = 0.92, KS = 0.58, vượt trội so với logistic regression truyền thống (AUC = 0.81), hỗ trợ phân loại nợ theo 5 nhóm rủi ro quy định tại Thông tư 01/2020/TT-NHNN và Thông tư 11/2021/TT-NHNN.