LSTM

LSTM (Long Short-Term Memory) là gì?

LSTM là một kiến trúc mạng nơ-ron hồi quy (Recurrent Neural Network - RNN) được giới thiệu bởi Hochreiter và Schmidhuber năm 1997, có khả năng ghi nhớ các phụ thuộc dài hạn trong dữ liệu chuỗi thời gian. LSTM khắc phục hạn chế vanishing gradient và exploding gradient của RNN truyền thống thông qua cơ chế cổng (gate) điều khiển có chọn lọc luồng thông tin đi qua cell.

Đặc điểm

• Cell state (bộ nhớ dài hạn): là đường ống dẫn thông tin chính chạy dọc chuỗi, cho phép gradient lan truyền ổn định.
• Forget gate: sử dụng hàm sigmoid quyết định thông tin nào cần loại bỏ khỏi cell state, output 0 nghĩa là bỏ qua, output 1 nghĩa là giữ lại toàn bộ.
• Input gate: gồm sigmoid (quyết định giá trị nào cập nhật) và tanh (tạo vector giá trị mới), kết hợp để thêm thông tin mới vào cell state.
• Output gate: kiểm soát giá trị đầu ra tại mỗi bước thời gian dựa trên cell state đã lọc.
• Khả năng song song hóa: có thể stacking nhiều layer LSTM để học biểu diễn phức tạp hơn, hoặc kết hợp thành Bidirectional LSTM để xét cả ngữ cảnh quá khứ và tương lai.

Ví dụ

Trong ngân hàng Việt Nam, LSTM được ứng dụng để dự báo dòng tiền gửi - rút, phát hiện giao dịch bất thường và dự đoán khả năng vỡ nợ theo thời gian. Ví dụ, một ngân hàng có thể huấn luyện mô hình LSTM trên chuỗi dữ liệu giao dịch 24 tháng của khách hàng (số lượng, giá trị, tần suất, địa điểm, thiết bị) để phát hiện sớm các mẫu hành vi bất thường có dấu hiệu gian lận hoặc rủi ro tín dụng. Mô hình này hỗ trợ công tác cảnh báo sớm theo Thông tư 17/2019/TT-NHNN về hệ thống cảnh báo sớm của tổ chức tín dụng, đồng thời phục vụ tuân thủ Quyết định 12/2021/QĐ-TTg về phòng, chống rửa tiền thông qua phát hiện các giao dịch có giá trị lớn, tần suất bất thường hoặc cấu trúc chia nhỏ (smurfing).