Step 22 양자화(Quantization)

K_M, K_S, K_L의 의미:
K = "K-quants" (더 스마트한 양자화 방식, 중요 레이어에 더 많은 비트 할당)
M = Medium (균형), S = Small (더 압축), L = Large (더 좋은 품질)

# 1. Ollama 설치 (Linux/Mac)
curl -fsSL https://ollama.ai/install.sh | sh

# 2. 모델 다운로드 및 실행 (자동으로 Q4_K_M 받음)
ollama run llama3           # Meta Llama 3 8B
ollama run mistral          # Mistral 7B
ollama run exaone-deep:7.8b # EXAONE Deep 7.8B (한국어)
ollama run qwen2.5:14b      # Qwen 2.5 14B

# 3. Python에서 사용 (OpenAI 호환 API)
import ollama

response = ollama.chat(
    model='llama3',
    messages=[{'role': 'user', 'content': '안녕하세요!'}]
)
print(response['message']['content'])

# 4. OpenAI SDK 호환 방식으로도 사용 가능
from openai import OpenAI
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
response = client.chat.completions.create(
    model="llama3",
    messages=[{"role": "user", "content": "파이썬 코드 작성해줘"}]
)

# 1. llama.cpp 빌드
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make -j8  # GPU 지원: make LLAMA_CUBLAS=1 -j8

# 2. HuggingFace에서 GGUF 모델 다운로드
pip install huggingface_hub
huggingface-cli download \
  LGAI-EXAONE/EXAONE-Deep-32B-Instruct-GGUF \
  --include "EXAONE-Deep-32B-Instruct-Q4_K_M.gguf" \
  --local-dir ./models

# 3. 실행 (GPU 오프로드 레이어 설정 가능)
./llama-cli \
  -m ./models/EXAONE-Deep-32B-Instruct-Q4_K_M.gguf \
  -n 512 \          # 최대 생성 토큰
  -ngl 35 \         # GPU에 올릴 레이어 수 (VRAM 여유에 따라 조정)
  --temp 0.7 \      # 온도 (높을수록 창의적)
  -p "안녕하세요!"  # 프롬프트

# 4. Python 바인딩 (llama-cpp-python)
pip install llama-cpp-python
from llama_cpp import Llama

llm = Llama(
    model_path="./models/model-Q4_K_M.gguf",
    n_gpu_layers=35,   # GPU 레이어 수
    n_ctx=4096,        # 컨텍스트 길이
)
output = llm("Q: 파이썬으로 Hello World 출력하는 방법은? A:")
print(output['choices'][0]['text'])

pip install transformers bitsandbytes accelerate

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
import torch

# ── INT8 양자화 로드 ──────────────────────────────
quantization_config = BitsAndBytesConfig(load_in_8bit=True)

model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Meta-Llama-3-8B-Instruct",
    quantization_config=quantization_config,
    device_map="auto"   # GPU 자동 분배
)
# 원래 16GB → 8GB로 절반 절약!

# ── INT4 양자화 (QLoRA 방식) ──────────────────────
quantization_config_4bit = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.bfloat16,  # 연산은 BF16으로
    bnb_4bit_use_double_quant=True,          # 이중 양자화로 추가 절약
    bnb_4bit_quant_type="nf4"               # NF4 = 정규분포 기반 4bit
)

model_4bit = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Meta-Llama-3-8B-Instruct",
    quantization_config=quantization_config_4bit,
    device_map="auto"
)
# 원래 16GB → 4.5GB! 소비자 GPU에서 70B도 가능!

# 사용법은 일반 모델과 동일
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Meta-Llama-3-8B-Instruct")
inputs = tokenizer("AI란 무엇인가요?", return_tensors="pt").to("cuda")
outputs = model_4bit.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Qwen2.5 14B Q4_K_M (~8.5GB) 또는 EXAONE Deep 7.8B Q8 (~9GB)가 최적입니다. 32B 모델은 IQ3_XS (~14GB) 포맷을 쓰면 아슬아슬하게 가능합니다. CPU 오프로드 옵션(-ngl 줄이기)을 활용하면 더 큰 모델도 (느리지만) 실행 가능합니다.