Senior Data Engineer - Finance Division - HN - TA133

## Lộ Trình Ôn Tập 2 Tuần Cho VPBank Data Engineer ### Tuần 1: Củng Cố Nền Tảng #### Ngày 1-2: SQL & Database **Nội dung ôn:** - [ ] Window Functions (LAG, LEAD, FIRST_VALUE, LAST_VALUE) - [ ] Common Table Expressions (CTE) - [ ] Query Optimization (EXPLAIN PLAN, Index usage) - [ ] Stored Procedures, Triggers - [ ] Data Modeling (3NF, Star, Snowflake) **Bài tập thực hành:** ```sql -- Bài 1: Tính month-over-month growth SELECT month, revenue, LAG(revenue) OVER (ORDER BY month) as prev_month_revenue, (revenue - LAG(revenue) OVER (ORDER BY month)) / LAG(revenue) OVER (ORDER BY month) * 100 as mom_growth_pct FROM monthly_revenue; -- Bài 2: Identify duplicate records SELECT account_id, COUNT(*) as cnt FROM transactions GROUP BY account_id HAVING COUNT(*) > 1; -- Bài 3: Find customers with no transactions in last 90 days SELECT c.* FROM customers c LEFT JOIN transactions t ON c.customer_id = t.customer_id AND t.transaction_date >= CURRENT_DATE - 90 WHERE t.customer_id IS NULL; ``` **Tài liệu:** - LeetCode SQL (Easy → Medium → Hard) - Mode SQL Tutorial (miễn phí) #### Ngày 3-4: Python & Data Processing **Nội dung ôn:** - [ ] Pandas DataFrame operations - [ ] PySpark basics - [ ] Exception handling, Logging - [ ] Decorators, Context managers **Bài tập:** ```python # Xử lý data validation với Pandas import pandas as pd import numpy as np def validate_transaction_data(df): """ Validate banking transaction data """ errors = [] # Check null values null_counts = df.isnull().sum() if null_counts.any(): errors.append(f"Null values found: {null_counts[null_counts > 0]}") # Check negative amounts (except refunds) invalid_amounts = df[(df['amount'] < 0) & (df['transaction_type'] != 'REFUND')] if not invalid_amounts.empty: errors.append(f"Invalid negative amounts: {len(invalid_amounts)} records") # Check future dates future_dates = df[df['transaction_date'] > pd.Timestamp.now()] if not future_dates.empty: errors.append(f"Future dates found: {len(future_dates)} records") return errors ``` #### Ngày 5-7: ETL/ELT & Pipeline Design **Nội dung ôn:** - [ ] ETL vs ELT concepts - [ ] Data Lake vs Data Warehouse - [ ] Airflow basics (DAG structure, Operators, Sensors) - [ ] Data quality frameworks **Thực hành:** ```python # Ví dụ Airflow DAG đơn giản from airflow import DAG from airflow.operators.python import PythonOperator from airflow.operators.postgres_operator import PostgresOperator from datetime import datetime, timedelta default_args = { 'owner': 'data_engineer', 'depends_on_past': False, 'start_date': datetime(2024, 1, 1), 'retries': 3, 'retry_delay': timedelta(minutes=5), } dag = DAG( 'finance_daily_pipeline', default_args=default_args, schedule_interval='0 1 * * *', # 1 AM daily catchup=False, ) t1 = PythonOperator( task_id='extract_transactions', python_callable=extract_daily_transactions, dag=dag, ) t2 = PostgresOperator( task_id='load_to_staging', postgres_conn_id='finance_db', sql='staging_load.sql', dag=dag, ) t3 = PythonOperator( task_id='data_quality_check', python_callable=run_data_quality_checks, dag=dag, ) t1 >> t2 >> t3 ``` --- ### Tuần 2: Chuyên Sâu & Nghiệp Vụ #### Ngày 8-9: System Architecture & Design Patterns **Nội dung ôn:** - [ ] Data Lakehouse architecture - [ ] Lambda architecture vs Kappa architecture - [ ] Microservices for data - [ ] Event-driven architecture **Bài tập thiết kế:** > Thiết kế hệ thống Data Warehouse cho VPBank Finance Division ``` ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ Core Banking│ │ Other │ │ External │ │ T24 │ │ Systems │ │ Sources │ └──────┬──────┘ └──────┬──────┘ └──────┬──────┘ │ │ │ └───────────────────┼───────────────────┘ │ ┌──────▼──────┐ │ Data Lake │ │ (S3/GCS) │ └──────┬──────┘ │ ┌──────▼──────┐ │ Airflow │ │ Orchest. │ └──────┬──────┘ │ ┌───────────────────┼───────────────────┐ │ │ │ ┌──────▼──────┐ ┌──────▼──────┐ ┌──────▼──────┐ │ Data Mart │ │ Data Mart │ │ Data Mart │ │ Lending │ │ Deposit │ │ Treasury │ └──────┬──────┘ └──────┬──────┘ └──────┬──────┘ │ │ │ └───────────────────┼───────────────────┘ │ ┌──────▼──────┐ │ Reports │ │ (Tableau/ │ │ PowerBI) │ └─────────────┘ ``` #### Ngày 10-11: Nghiệp Vụ Ngân Hàng **Kiến thức bắt buộc:** 1. **Sản phẩm ngân hàng:** - Huy động vốn (tiền gửi tiết kiệm, tiền gửi thanh toán) - Tín dụng (thế chấp, tín chấp, cho vay cá nhân/doanh nghiệp) - Thẻ ngân hàng - Dịch vụ thanh toán 2. **Báo cáo theo thông tư NHNN:** - Thông tư 49/2014 - Báo cáo thống kê - Thông tư 16/2020 - Phân loại nợ - Báo cáo CAMELS 3. **Các chỉ số quan trọng:** - NPL (Non-Performing Loan) - CAR (Capital Adequacy Ratio) - LDR (Loan-to-Deposit Ratio) - CASA ratio 4. **Core Banking T24:** - Hiểu cách T24 tổ chức dữ liệu - Các bảng quan trọng: Customer, Account, Transaction - Cách extract data từ T24 #### Ngày 12-13: Cloud & Advanced Tools **Nếu chưa có kinh nghiệm cloud:** - AWS: S3, Glue, Athena, Redshift, Lambda - Free tier để practice **dbt:** ```sql -- Ví dụ dbt model {{ config(materialized='table', schema='finance') }} SELECT t.account_id, t.transaction_date, c.customer_name, t.amount, CASE WHEN t.amount > 0 THEN 'Credit' ELSE 'Debit' END as transaction_type FROM {{ source('staging', 'transactions') }} t JOIN {{ ref('dim_customers') }} c ON t.customer_id = c.customer_id ``` #### Ngày 14: Ôn Tập Tổng Hợp & Mock Interview - Review lại tất cả concepts - Làm 2-3 bài SQL trên LeetCode - Practice trả lời câu hỏi behavior (STAR method) - Chuẩn bị câu hỏi cho nhà tuyển dụng --- ### Tài Liệu Tham Khảo Chi Tiết **Sách:** 1. "The Data Warehouse Toolkit" - Ralph Kimball (must-read) 2. "Designing Data-Intensive Applications" - Martin Kleppmann 3. "Fundamentals of Data Engineering" - Joe Reis & Matt Housley **Online Courses:** 1. Data Engineering with Python (Coursera - IBM) 2. AWS Data Analytics Specialty (Udemy) 3. dbt Fundamentals (dbt documentation) **YouTube Channels:** 1. Data Engineering Weekly 2. Alex Xu (System Design) 3. TechTFQ (SQL) **Vietnamese Resources:** 1. Group: Data Engineering Vietnam 2. Blog: quantrics.blogspot.com 3. Forum: bigdatavietnam.org