Continuum AI Laboratory

단층 퍼셉트론, 머신러닝, 그리고 딥러닝(다층 퍼셉트론)

XOR을 풀지 못한 단층 퍼셉트론

타이타닉으로 보는 특징 공학의 한계

역전파로 XOR을 풀었지만, 실전은 달랐다

MNIST 손글씨, 공간 정보를 잃다

CNN과 ImageNet 대회의 충격

사전학습 모델(ResNet, VGG)로 빠르게 시작하기

NLTK 기초 (토큰화, 어간 추출, 형태소 분석)

기초 베이스라인 - 단어를 숫자로 변환하는 첫걸음

이미지가 아닌 텍스트에서의 CNN 활용

사전학습 임베딩 (freeze) - 시퀀스 데이터의 시작

Vanishing Gradient 문제 해결 - 긴 문맥 이해

중요 단어 집중 + 부분단어 학습 (OOV 해결)

Self-Attention과 Multi-Head - 처음부터 학습 (소형 구조)

최종 최강 모델 - 문맥 임베딩의 완성

Encoder-Decoder 구조로 시퀀스 변환 (번역/요약)

거대 모델을 가볍게 - Low-Rank Adaptation으로 적은 비용에 성능 극대화

Decoder-only 구조 - ChatGPT의 조상 (GPT / KoGPT2)

여러 형태의 데이터를 하나로 (CLIP, GPT-4V)

데이터베이스 검색으로 환각 줄이기

RLHF와 Instruction Tuning - ChatGPT가 대화하는 방식

거대 모델을 내 컴퓨터에 (GGUF, INT8, INT4)