Đường cong ROC

Đường cong ROC (ROC Curve) là gì?

Đường cong ROC (Receiver Operating Characteristic Curve) là đồ thị thể hiện mối quan hệ giữa Tỷ lệ dương tính thật (TPR - True Positive Rate) trên trục tung và Tỷ lệ dương tính giả (FPR - False Positive Rate) trên trục hoành, dùng để đánh giá hiệu suất mô hình phân loại nhị phân tại các ngưỡng phân loại khác nhau. Diện tích dưới đường cong (AUC - Area Under the Curve) là chỉ số tổng hợp quan trọng, dao động từ 0,5 (mô hình ngẫu nhiên) đến 1,0 (mô hình hoàn hảo).

Đặc điểm

• TPR (Sensitivity/Recall) = TP / (TP + FN): khả năng phát hiện đúng trường hợp dương tính
• FPR = FP / (FP + TN): tỷ lệ cảnh báo sai trường hợp âm tính
• AUC càng gần 1 thì khả năng phân biệt hai lớp càng tốt
• Đường chéo 45° thể hiện mô hình dự đoán ngẫu nhiên, không có giá trị
• Trong ngân hàng Việt Nam, ROC được sử dụng trong mô hình xếp hạng tín dụng, phát hiện gian lận, dự báo vỡ nợ (PD) theo Thông tư 11/2021/TT-NHNN và Thông tư 17/2021/TT-NHNN

Ví dụ

Ngân hàng xây dựng mô hình dự báo khách hàng cá nhân có khả năng vỡ nợ trong 12 tháng tới. Kiểm tra trên tập dữ liệu 10.000 khách hàng, mô hình cho AUC = 0,82, nghĩa là có 82% xác suất mô hình xếp hạng một khách hàng vỡ nợ cao hơn một khách hàng bình thường được chọn ngẫu nhiên. Theo Quyết định 2545/QĐ-NHNN và thông lệ Basel II, ngưỡng AUC tối thiểu 0,70 thường được yêu cầu để mô hình được chấp thuận sử dụng trong hệ thống xếp hạng tín dụng nội bộ tại Việt Nam.