Step 12 LSTM: GloVe로 장기기억 추가

왜 이런 일이 일어날까요?

Vanishing Gradient (기울기 소실):
역전파 시 기울기가 계속 곱해지면서 0에 가까워짐
→ 초반 정보가 후반까지 전달되지 못함

예시: 0.5 × 0.5 × 0.5 × ... (20번) = 0.00000095 😱

LSTM의 핵심 아이디어:

• Cell State: 장기기억을 담는 "고속도로"
  → 정보가 거의 변하지 않고 긴 거리를 이동 가능

• 3개의 Gate: 정보를 선택적으로 추가/제거
  → 중요한 정보는 오래 기억, 불필요한 정보는 잊기

• Gradient 전달: Cell State 덕분에 기울기 소실 방지
  → 100개 이상의 시간 단계도 학습 가능!

# GloVe 사전학습 모델 다운로드
# https://nlp.stanford.edu/projects/glove/

import numpy as np

def load_glove(filepath):
    embeddings = {}
    with open(filepath, 'r', encoding='utf-8') as f:
        for line in f:
            values = line.split()
            word = values[0]
            vector = np.asarray(values[1:], dtype='float32')
            embeddings[word] = vector
    return embeddings

# GloVe 로드 (100차원)
glove = load_glove('glove.6B.100d.txt')

print(f"단어 수: {len(glove):,}")  # 400,000개
print(glove['cat'].shape)  # (100,)

import torch
import torch.nn as nn

class LSTMClassifier(nn.Module):
    def __init__(self, vocab_size, embedding_dim, hidden_dim, num_classes, pretrained_embeddings=None):
        super().__init__()
        
        # GloVe 임베딩 (freeze)
        self.embedding = nn.Embedding(vocab_size, embedding_dim)
        
        if pretrained_embeddings is not None:
            self.embedding.weight.data.copy_(pretrained_embeddings)
            self.embedding.weight.requires_grad = False  # 🔒 Freeze!
        
        # LSTM (RNN 대신!)
        self.lstm = nn.LSTM(
            input_size=embedding_dim,
            hidden_size=hidden_dim,
            batch_first=True,
            num_layers=2,  # 2층 LSTM
            dropout=0.3    # 층 사이 Dropout
        )
        
        # 분류기
        self.dropout = nn.Dropout(0.5)
        self.fc = nn.Linear(hidden_dim, num_classes)
    
    def forward(self, x):
        # x: [batch, seq_len]
        embedded = self.embedding(x)  # [batch, seq_len, embedding_dim]
        
        # LSTM
        output, (hidden, cell) = self.lstm(embedded)
        # output: [batch, seq_len, hidden_dim]
        # hidden: [num_layers, batch, hidden_dim]
        # cell: [num_layers, batch, hidden_dim] ← LSTM만 있음!
        
        # 마지막 층의 hidden state 사용
        final_hidden = hidden[-1]  # [batch, hidden_dim]
        
        return self.fc(self.dropout(final_hidden))

# 모델 생성
model = LSTMClassifier(
    vocab_size=20000,
    embedding_dim=100,  # GloVe 차원
    hidden_dim=128,
    num_classes=4,
    pretrained_embeddings=glove_weights  # GloVe 가중치
)