Step 19 멀티모달 AI

# CLIP으로 Zero-shot 이미지 분류 예시
import clip, torch
from PIL import Image

model, preprocess = clip.load("ViT-B/32")

image = preprocess(Image.open("dog.jpg")).unsqueeze(0)
texts = clip.tokenize(["a dog", "a cat", "a bird"])

with torch.no_grad():
    image_feat = model.encode_image(image)   # 이미지 → 벡터
    text_feat  = model.encode_text(texts)    # 텍스트 → 벡터
    similarity = (image_feat @ text_feat.T).softmax(dim=-1)

print(similarity)
# → tensor([[0.9231, 0.0512, 0.0257]])  ← "a dog" 92%!
# 강아지 분류를 별도 학습 없이 해냄! (Zero-shot)

import openai, base64

# 이미지를 base64로 인코딩
with open("food.jpg", "rb") as f:
    img_b64 = base64.b64encode(f.read()).decode()

# 이미지 + 텍스트 동시에 전달
response = openai.chat.completions.create(
    model="gpt-4-vision-preview",
    messages=[{
        "role": "user",
        "content": [
            {"type": "image_url",
             "image_url": {"url": f"data:image/jpeg;base64,{img_b64}"}},
            {"type": "text",
             "text": "이 음식의 레시피를 알려줘"}
        ]
    }]
)
print(response.choices[0].message.content)
# → "이것은 김치찌개로 보입니다. 재료: 김치, 두부, 돼지고기..."

# Ollama로 LLaVA 실행 (로컬, 무료!)
# 터미널에서:
ollama pull llava
ollama run llava

# Python에서:
import ollama

response = ollama.chat(
    model='llava',
    messages=[{
        'role': 'user',
        'content': '이 사진에 무엇이 있나요?',
        'images': ['./photo.jpg']  # 이미지 경로
    }]
)
print(response['message']['content'])