# 한국어로 물어 본 로컬 모델 4종 비교: 2.4B, 3B, 27B, 31B

> 같은 PC에서 exaone3.5 2.4B, qwen2.5 3B, qwen3.8 27B, gemma4 31B에 한국어 질문 다섯 개를 보내 속도와 답을 비교합니다. 작은 모델이 틀린 곳과 큰 모델이 느린 만큼 얻는 것을 실제 답으로 확인합니다.

- 주소: https://copyandrun.com/blog/local-llm-korean-model-comparison/
- 분야: AI
- 발행일: 2026-10-28
- 태그: Ollama, 한국어, 모델 비교, exaone, gemma

로컬에 받아 둔 모델이 여러 개일 때, 어느 것을 언제 쓰면 좋은지 감이 잘 오지 않습니다. 이 글에서는 같은 PC에서 크기가 다른 모델 네 개에 같은 한국어 질문 다섯 개를 보내 속도와 답을 나란히 놓고 봅니다. 질문이 다섯 개뿐이고 평가는 제가 읽고 내린 것이므로, 순위가 아니라 경향을 보는 자료입니다.

## 준비물

| 항목 | 확인한 값 |
|---|---|
| Ollama | 0.32.15, Windows 11, 메모리 약 96GB(그래픽 공유) |
| 모델 | `exaone3.5:2.4b`(1.6GB), `qwen2.5:3b-instruct-q4_K_M`(1.9GB), `qwen3.8:27b`(17GB), `gemma4:31b`(20GB) |
| 설정 | `temperature` 0.2, 답 길이 최대 300토큰, 생각 과정 출력 끔(`think: false`) |

## 1. 질문 다섯 개

<!-- files: compare_models.py -->

| # | 질문 | 보려는 것 |
|---|---|---|
| 1 | '회식'과 '회의'의 차이를 한 문장씩 설명해 주세요 | 어휘 이해 |
| 2 | "내일 회의 못 가요"를 정중한 존댓말 이메일 문장으로 바꿔 주세요 | 문체 변환 |
| 3 | 사과 3개에서 2개를 먹고 5개를 더 샀습니다. 숫자만 답하세요 | 계산과 지시 따르기 |
| 4 | '방화벽'을 초등학생에게 두 문장으로 설명해 주세요 | 눈높이 맞추기, 문장 수 |
| 5 | 파이썬으로 리스트의 중복을 제거하는 한 줄 코드를 보여 주세요 | 코드 |

호출은 Python `requests`로 `/api/chat`에 보냈습니다. 한글 질문을 Git Bash의 curl로 보내면 깨지는 경우가 있어서 Python을 썼습니다. 실행은 `python -X utf8`로 합니다.

## 2. 속도

| 모델 | 28일 | 29일(전체 스크립트) |
|---|---|---|
| exaone3.5:2.4b | 약 104토큰/초 | 100.7토큰/초 |
| qwen2.5:3b | 약 78토큰/초 | 76.6토큰/초 |
| gemma4:31b | 약 15토큰/초 | 12.2토큰/초 |
| qwen3.8:27b | 약 10.5토큰/초 | 13.3토큰/초 |

다섯 질문의 초당 토큰 수를 평균 낸 값이고, 모델마다 두 번(날짜별로 한 번씩) 쟀습니다. 작은 모델이 큰 모델보다 7배 안팎 빠른 것은 두 번 다 같았습니다. 반면 28일에는 27B가 31B보다 느렸는데 29일에는 반대로 나왔습니다. 두 큰 모델의 순서는 이 측정으로 정할 수 없고, 둘 다 10~15토큰/초 구간이라고만 읽습니다.

## 3. 답 비교

**3번 사과 문제**의 정답은 6입니다.

| 모델 | 답 |
|---|---|
| exaone3.5:2.4b | 10 (틀림) |
| qwen2.5:3b | 8 (틀림) |
| qwen3.8:27b | 6 |
| gemma4:31b | 6 |

두 작은 모델은 "숫자만 답하세요"는 지켰지만 계산이 틀렸습니다. 큰 모델 둘은 맞혔습니다.

**1번 어휘 질문**에서 qwen2.5:3b는 "'회식'은 회의를 통해 의견을 교환하고 결정을 내리는 과정"이라고 두 낱말을 뒤섞어 설명했습니다. 나머지 세 모델은 회식은 친목을 위한 식사 모임, 회의는 안건을 논의하는 공식적인 자리로 올바르게 구분했습니다.

**2번 문체 변환**에서 exaone3.5:2.4b는 "내일 회의에 참석하지 못하게 되어 죄송합니다."로 한 문장으로 깔끔하게 답했습니다. 다만 요청에 없던 "대체 방안을 함께 검토해 보시는 것이 어떨까요?"를 덧붙였습니다. qwen3.8:27b와 gemma4:31b는 표현 여러 개를 상황별로 늘어놓았고 gemma는 300토큰 제한에서 답이 잘렸습니다. 한 문장만 필요한 경우에는 큰 모델이 오히려 장황했습니다.

**4번 눈높이 질문**에서 exaone3.5:2.4b, qwen3.8:27b, gemma4:31b는 집의 문, 경비원, 성벽 같은 비유로 풀었습니다. qwen2.5:3b는 비유 없이 "보안 시스템으로, 컴퓨터를 보호하고…"라는 사전식 한 문장을 내서 초등학생 눈높이에 맞지 않았습니다. "두 문장" 지시는 qwen3.8:27b와 gemma4:31b만 지켰고, exaone은 세 문장, qwen2.5는 한 문장이었습니다.

**5번 코드**는 네 모델 모두 `list(set(...))`를 제시했습니다. exaone, qwen3.8, gemma는 순서가 유지되지 않는다는 주의를 덧붙였고 qwen3.8과 gemma는 순서를 지키는 대안(`dict.fromkeys` 등)까지 보였습니다. qwen2.5:3b는 주의 없이 설명만 했습니다. 한 줄만 보여 달라는 요청에 설명을 더한 점은 네 모델이 같았습니다.

## 전체 코드

위 질문과 모델로 속도 표, 사과 문제 채점, 문장 수 검사를 한 번에 하는 파일입니다. `compare_models.py`로 저장하고 `python -X utf8 compare_models.py`로 실행합니다. 모델 네 개를 받아 두어야 하고 이 PC에서는 약 3분이 걸렸습니다. 답 전체는 같은 폴더의 `answers.json`에 저장되므로, 2번과 5번 같은 항목은 그 파일을 열어 직접 읽고 판단합니다.

![compare_models.py 실행 결과에서 모델별 평균 속도가 100.7, 76.6, 13.3, 12.2토큰/초로 나오고, 사과 문제는 두 큰 모델만 6으로 맞히며, 방화벽 설명의 두 문장 지시는 큰 모델 두 개만 지키는 것을 확인합니다.](https://copyandrun.com/img/local-llm-korean-model-comparison/01-모델-비교-결과.png)

```python
"""같은 한국어 질문 다섯 개를 크기가 다른 모델 네 개에 보내 속도와 답을 저장한다.

준비: Ollama 실행 중, 아래 MODELS 를 ollama pull 로 받아 둔다, pip install requests
주의: 큰 모델(17GB, 20GB)을 메모리에 올리므로 다른 큰 모델이 떠 있으면 느려진다. 약 3~5분.
실행: python -X utf8 compare_models.py   (답 전체는 answers.json 에 저장된다)
"""
import json
import re
import time

import requests

URL = "http://localhost:11434/api/chat"
MODELS = ["exaone3.5:2.4b", "qwen2.5:3b-instruct-q4_K_M", "qwen3.8:27b", "gemma4:31b"]
QS = [
    "'회식'과 '회의'의 차이를 한 문장씩 설명해 주세요.",
    "\"내일 회의 못 가요\"를 정중한 존댓말 이메일 문장으로 바꿔 주세요.",
    "사과 3개에서 2개를 먹고 5개를 더 샀습니다. 숫자만 답하세요.",
    "'방화벽'을 초등학생에게 두 문장으로 설명해 주세요.",
    "파이썬으로 리스트의 중복을 제거하는 한 줄 코드를 보여 주세요.",
]


def ask(model, q):
    body = {"model": model, "stream": False, "think": False,
            "options": {"temperature": 0.2, "num_predict": 300},
            "messages": [{"role": "user", "content": q}]}
    r = requests.post(URL, json=body, timeout=900)
    if r.status_code != 200:                # think 옵션을 못 받는 모델은 옵션 없이 다시 보낸다
        body.pop("think")
        r = requests.post(URL, json=body, timeout=900)
    return r.json()


def sentences(text):
    return len([s for s in re.split(r"(?<=[.?!])\s+", text.strip()) if s])


answers = {}
speed = {}
for m in MODELS:
    answers[m] = []
    rates = []
    for q in QS:
        d = ask(m, q)
        text = d["message"]["content"].strip()
        answers[m].append(text)
        rates.append(d["eval_count"] / (d["eval_duration"] / 1e9))
    speed[m] = sum(rates) / len(rates)
    print(f"{m} 완료", flush=True)

print("\n## 1. 평균 생성 속도(질문 다섯 개의 평균)")
for m in MODELS:
    print(f"{m:<28} {speed[m]:6.1f} 토큰/초")

print("\n## 2. 3번 사과 문제(정답 6)")
for m in MODELS:
    a = answers[m][2]
    print(f"{m:<28} {a[:20]!r:<24} {'맞음' if a.strip().rstrip('.') == '6' else '틀림'}")

print("\n## 3. 4번 방화벽: 두 문장 지시를 지켰나(문장 수)")
for m in MODELS:
    n = sentences(answers[m][3])
    print(f"{m:<28} {n}문장 {'지킴' if n == 2 else '어김'}")

with open("answers.json", "w", encoding="utf-8") as f:
    json.dump(answers, f, ensure_ascii=False, indent=1)
print("\n답 전체를 answers.json 에 저장했습니다.")
```

29일 재실행에서도 사과 문제(2.4B는 10, 3B는 8, 큰 둘은 6)와 두 문장 지시(큰 둘만 지킴)는 28일과 같은 결과였습니다. 이 둘은 코드로 채점한 값이고, 어휘 설명과 문체 변환은 제가 읽고 판단한 것입니다.

## 4. 읽는 법

- **빠른 응답이 중요한 일**(문체 다듬기, 짧은 요약, 어휘 질문)은 2.4B에서 3B 모델로 충분한 경우가 많았습니다. 단 계산과 정확한 사실이 필요한 일에는 작은 모델 답을 그대로 믿지 않습니다.
- **정확해야 하는 일**(계산, 헷갈리는 어휘, 주의사항)은 큰 모델 쪽이 안정적이었습니다. 대신 10에서 15토큰/초로 느리고 답이 길어집니다.
- **지시 따르기는 모델 크기와 별개로 불안정했습니다.** 문장 수와 분량 제한은 모델 크기와 상관없이 지켜지지 않았으니, 중요한 제한은 결과를 코드로 검사합니다.

## 자주 막히는 곳

| 증상 | 원인과 해결 |
|---|---|
| `think: false`에서 오류가 납니다 | 생각 과정 출력을 지원하지 않는 모델일 수 있습니다. 이 글의 스크립트는 오류가 나면 옵션 없이 다시 보내도록 했습니다 |
| 큰 모델의 첫 응답이 매우 느립니다 | 모델을 메모리에 올리는 시간입니다. 두 번째 질문부터 빨라집니다 |
| 답이 중간에 끊깁니다 | 이 글의 답 길이 제한(300토큰)에 걸린 것입니다. `num_predict`를 늘립니다 |

## 확인 범위

- **해 본 것:** 2026-10-28, Windows 11 · Ollama 0.32.15에서 질문 다섯 개를 모델마다 한 번씩 보냈고, 29일에 전체 스크립트로 한 번 더 실행해 속도와 정답 여부를 다시 확인했습니다.
- **해 보지 않은 것:** 긴 글 요약, 번역, 표 해석.
- **읽을 때 주의:** 계산 문제만 정답이 정해져 있고, 나머지는 제가 읽어 보고 판단했습니다. 같은 질문도 다시 돌리면 답이 달라질 수 있습니다. 모델의 전체 한국어 실력이 아니라 이 다섯 질문에서 본 차이로 읽어 주시기 바랍니다.
