Bài viết liên quan
Công nghệ & Số hóa
ETL
Extract - Transform - Load
ETL là quy trình trích xuất (Extract), biến đổi (Transform) và nạp (Load) dữ liệu từ hệ thống nguồn vào kho dữ liệu ngân hàng. ETL đảm bảo dữ liệu được chuẩn hóa, làm sạch, tích hợp theo quy tắc nghiệp vụ trước khi phục vụ báo cáo BI, phân tích rủi ro và tuân thủ NHNN.
ETL trong ngân hàng là gì?
ETL (Extract - Transform - Load) là quy trình kỹ thuật cốt lõi trong kiến trúc kho dữ liệu ngân hàng, thực hiện việc trích xuất dữ liệu thô từ core banking, hệ thống thẻ, CRM, LOS (Loan Origination), biến đổi theo quy tắc nghiệp vụ (làm sạch, chuẩn hóa mã khách hàng, quy đổi tiền tệ, tính toán chỉ tiêu Basel), và nạp vào DWH theo lịch batch hoặc real-time.
Ba giai đoạn chính
- Extract (Trích xuất): Kết nối DB2, Oracle, SQL Server, API REST, file XML/CSV từ các hệ thống nguồn. Sử dụng CDC (Change Data Capture) để bắt dữ liệu thay đổi.
- Transform (Biến đổi): Áp dụng business rule như phân loại khách hàng theo Thông tư 35/2014/TT-NHNN, tính dư nợ bình quân, chuyển đổi sang chuẩn ISO 20022, mã hóa PII theo PCI-DSS.
- Load (Nạp): Nạp Full load hàng ngày lúc 00:00 - 05:00 hoặc Incremental load mỗi 15-30 phút. Ngân hàng lớn xử lý 5-15 TB/đêm.
Công cụ phổ biến
Ngân hàng Việt Nam sử dụng Informatica PowerCenter, IBM DataStage, Talend, Apache Airflow cho batch ETL; Kafka, Debezium, Flink cho streaming ETL real-time. Chi phí bản quyền ETL doanh nghiệp dao động 3-10 tỷ VNĐ/năm tùy quy mô.