ETL (Trích xuất - Biến đổi - Nạp)

ETL (Trích xuất - Biến đổi - Nạp) là gì?

ETL (Extract - Transform - Load) là quy trình tự động trích xuất dữ liệu giao dịch từ các hệ thống nguồn của ngân hàng như core banking, ATM switch, POS, internet/mobile banking, sau đó chuẩn hóa theo mô hình dữ liệu ngân hàng rồi nạp vào kho dữ liệu (Data Warehouse). ETL chạy theo lịch batch (T+1) hoặc thời gian thực (streaming), là bước nền tảng trong pipeline dữ liệu, đảm bảo chất lượng dữ liệu cho phân tích và báo cáo quản trị.

Đặc điểm

• Extract (Trích xuất): Lấy dữ liệu thô từ nhiều nguồn qua API, SFTP, CDC (Change Data Capture) hoặc truy vấn trực tiếp cơ sở dữ liệu.
• Transform (Biến đổi): Làm sạch trùng lặp, chuẩn hóa định dạng ngày tháng, ánh xạ mã chi nhánh theo danh mục NHNN, áp dụng quy tắc nghiệp vụ và làm giàu dữ liệu.
• Load (Nạp): Ghi dữ liệu đã chuẩn hóa vào bảng fact/dimension của Data Warehouse theo lịch batch hoặc real-time.
• Phải đảm bảo tính toàn vẹn, bảo mật và khả năng truy vết theo Thông tư 17/2019/TT-NHNN về hệ thống CNTT trong hoạt động ngân hàng và Thông tư 04/2020/TT-NHNN về quản lý rủi ro CNTT.

Ví dụ

Mỗi đêm, job ETL trích xuất 5 triệu giao dịch POS từ hệ thống card switch, loại bỏ bản ghi lỗi, chuẩn hóa mã Merchant Category Code (MCC) theo chuẩn ISO 18245, làm giàu thông tin khách hàng từ CRM rồi nạp vào bảng fact_giao_dich phục vụ phân tích hành vi chi tiêu vào sáng hôm sau, đồng thời đáp ứng yêu cầu báo cáo của NHNN.