Step 7 전이학습 - 거인의 어깨 위에서

📌 동작 방식:

1. 사전학습 모델의 모든 층을 동결(freeze)
   → Conv층의 가중치는 절대 업데이트하지 않음

2. 마지막 FC층만 교체하고 학습
   → 1000 클래스 → 2 클래스 (고양이/강아지)

3. 사전학습 층은 특징만 뽑아주고, 새 FC층이 분류 학습

from torchvision import models
import torch.nn as nn

# ResNet50 사전학습 모델 로드
model = models.resnet50(pretrained=True)

# 모든 파라미터 동결
for param in model.parameters():
    param.requires_grad = False  # 학습 안 함!

# 마지막 FC층만 교체 (2 클래스)
num_features = model.fc.in_features
model.fc = nn.Linear(num_features, 2)  # 이것만 학습됨

✅ 언제 사용?
• 데이터가 적을 때 (수백~수천 장)
• 빠른 프로토타입이 필요할 때
• 컴퓨팅 자원이 제한적일 때

📌 동작 방식:

1. 사전학습 모델을 로드 (ImageNet 가중치 포함)

2. 마지막 FC층 교체

3. 전체 네트워크를 학습 (단, 차등 학습률 적용)
   → 하위 층: 매우 낮은 학습률 (기존 지식 보존)
   → 상위 층: 보통 학습률
   → 새 FC층: 높은 학습률

import torch.optim as optim

# ResNet50 로드
model = models.resnet50(pretrained=True)

# 마지막 FC층 교체
model.fc = nn.Linear(model.fc.in_features, 2)

# 차등 학습률 설정
optimizer = optim.Adam([
    {'params': model.layer1.parameters(), 'lr': 1e-5},  # 하위 층: 매우 낮은 LR
    {'params': model.layer2.parameters(), 'lr': 1e-5},
    {'params': model.layer3.parameters(), 'lr': 1e-4},  # 중간 층: 낮은 LR
    {'params': model.layer4.parameters(), 'lr': 1e-4},
    {'params': model.fc.parameters(), 'lr': 1e-3}       # 새 FC층: 높은 LR
])

✅ 언제 사용?
• 데이터가 충분할 때 (수천~수만 장)
• 최고 성능이 필요할 때
• 시간과 컴퓨팅 자원이 있을 때

💡 추천 모델:

• 초보자: ResNet50 (안정적이고 성능 좋음)
• 모바일/임베디드: MobileNet v2 (가볍고 빠름)
• 최고 성능: EfficientNet 또는 Vision Transformer
• 학습용: VGG16 (구조가 단순해서 이해하기 쉬움)

💡 왜 Skip Connection이 중요한가?

1. Gradient Vanishing 문제 해결
   → 깊은 네트워크에서도 그래디언트가 잘 전달됨

2. 항등 함수(Identity) 학습 가능
   → F(x) = 0을 학습하면 출력 = 입력 (아무것도 안 해도 됨)
   → 층을 더 쌓아도 성능이 나빠지지 않음!

3. 더 빠른 학습
   → 초기 학습 단계에서 빠르게 수렴

import torch
import torch.nn as nn
from torchvision import models

# ResNet50 사전학습 모델 로드
# pretrained=True: ImageNet 가중치 포함
model = models.resnet50(pretrained=True)

print(f"총 파라미터: {sum(p.numel() for p in model.parameters()):,}개")
# 출력: 총 파라미터: 25,557,032개

# 모델 구조 확인 (마지막 부분)
print(model.fc)
# Linear(in_features=2048, out_features=1000, bias=True)

# 마지막 FC층 확인
num_features = model.fc.in_features  # 2048
print(f"FC 입력 차원: {num_features}")

# 1000 클래스 → 2 클래스로 교체
model.fc = nn.Linear(num_features, 2)

print(f"수정된 FC층: {model.fc}")
# Linear(in_features=2048, out_features=2, bias=True)

# GPU로 이동
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = model.to(device)
print(f"Device: {device}")

# 모든 파라미터 동결
for param in model.parameters():
    param.requires_grad = False

# 마지막 FC층만 학습 가능하게
for param in model.fc.parameters():
    param.requires_grad = True

# 옵티마이저: FC층만
import torch.optim as optim
optimizer = optim.Adam(model.fc.parameters(), lr=0.001)

print("학습 가능 파라미터:", 
      sum(p.numel() for p in model.parameters() if p.requires_grad))
# 출력: 학습 가능 파라미터: 4,098 (FC층만)

# 모든 파라미터 학습 가능 (기본값)
for param in model.parameters():
    param.requires_grad = True

# 차등 학습률 옵티마이저
optimizer = optim.Adam([
    {'params': model.layer1.parameters(), 'lr': 1e-5},  # 하위 층: 매우 낮은 LR
    {'params': model.layer2.parameters(), 'lr': 1e-5},
    {'params': model.layer3.parameters(), 'lr': 1e-4},  # 중간 층: 낮은 LR
    {'params': model.layer4.parameters(), 'lr': 1e-4},
    {'params': model.fc.parameters(), 'lr': 1e-3}       # FC층: 높은 LR
])

print("전체 파라미터 학습!")
# 출력: 학습 가능 파라미터: 25,557,032개 (전체)

# 손실 함수
criterion = nn.CrossEntropyLoss()

# 학습률 스케줄러 (검증 성능 기반)
from torch.optim import lr_scheduler

scheduler = lr_scheduler.ReduceLROnPlateau(
    optimizer,
    mode='max',        # 정확도 최대화
    factor=0.5,       # 학습률을 절반으로
    patience=3        # 3 epoch 개선 없으면 LR 감소
)

print("학습 준비 완료!")

💡 실습 팁:

• 먼저 Feature Extraction으로 빠르게 90% 달성
• 만족스럽지 않다면 Fine-tuning으로 95% 도전
• Data Augmentation을 더 강하게 적용하면 98%까지도 가능!