# 집 PC에서 로컬 AI 돌리기: 메모리로 모델 크기 고르고 속도 재 보기

> Ollama로 내 PC에서 AI 모델을 돌릴 때 가장 먼저 부딪히는 질문, 어떤 크기의 모델이 내 컴퓨터에 맞는지를 다룹니다. 모델 파일 크기와 메모리의 관계를 계산하고, 2.4B 모델과 31B 모델을 같은 PC에서 돌려 초당 토큰 수를 직접 비교합니다.

- 주소: https://copyandrun.com/blog/local-ai-home-pc-model-size-guide/
- 분야: AI
- 발행일: 2026-10-28
- 태그: Ollama, 로컬 LLM, 모델 크기, 양자화

로컬 AI는 인터넷 서비스에 글을 보내지 않고 내 PC 안에서 언어 모델을 돌리는 방식입니다. 회사 문서나 개인 자료를 외부에 올리기 어려울 때, 인터넷이 없는 곳에서 쓸 때, 사용량 요금이 부담될 때 고려합니다. 처음 시작하는 사람이 가장 먼저 막히는 곳은 설치가 아니라 "내 컴퓨터에 어떤 모델이 맞는가"입니다. 이 글에서는 모델 크기와 메모리의 관계를 계산하는 방법을 정리하고, 같은 PC에서 작은 모델과 큰 모델을 돌려 속도 차이를 숫자로 확인합니다.

## 준비물

| 항목 | 확인한 값 |
|---|---|
| PC | AMD Ryzen AI Max+ 395 (Radeon 8060S 내장 그래픽), 메모리 약 96GB, Windows 11 |
| Ollama | 0.32.15 |
| 비교한 모델 | `exaone3.5:2.4b`, `gemma4:31b` |

이 PC는 CPU와 그래픽이 메모리를 함께 쓰는 구조라서, 별도 그래픽 카드를 단 일반 데스크톱과는 메모리 사정이 다릅니다. 아래 계산법은 같지만 숫자는 내 PC에 맞춰 읽어야 합니다.

## 1. 모델 크기와 필요한 메모리

<!-- files: size_guide.py -->

모델 파일의 크기는 대략 "매개변수 수 x 한 값을 저장하는 비트 수"입니다. 매개변수 수는 모델 이름의 `2.4b`, `31b`처럼 숫자 뒤에 B(십억)가 붙어 표시됩니다. 내려받는 모델은 보통 4비트 안팎으로 줄여 저장한(양자화) 형태라서 원래 크기보다 훨씬 작습니다.

```bash
ollama list
```

```
# 기대 출력(이 PC)
NAME                          SIZE
gemma4:31b                    20 GB
exaone3.5:2.4b                1.6 GB
qwen2.5:3b-instruct-q4_K_M    1.9 GB
nomic-embed-text:latest       274 MB
```

31B 모델이 20GB이니 매개변수 하나에 약 0.65바이트, 곧 5비트 남짓입니다. 2.4B 모델은 1.6GB로 비슷한 비율입니다. 이 비율을 어림값으로 쓰면 내려받기 전에 필요한 용량을 짐작할 수 있습니다.

| 모델 크기 | 파일 크기 어림 | 실행에 필요한 메모리 어림 |
|---|---|---|
| 3B 안팎 | 2GB 안팎 | 4GB 이상 |
| 8B 안팎 | 5GB 안팎 | 8GB 이상 |
| 30B 안팎 | 20GB 안팎 | 24GB 이상 |

파일 크기는 위 두 모델에서 확인한 비율로 계산한 어림값입니다. 실행에 필요한 메모리는 파일보다 큽니다. 대화 길이(컨텍스트)에 따라 늘어나는 작업 공간이 파일 크기에 더해지기 때문입니다. 이 열의 숫자는 이 글에서 측정하지 않은 경험칙이므로, 내 PC에서는 아래 3단계처럼 직접 올려 보고 판단합니다.

## 2. 작은 모델 돌려 보기

<!-- files: size_guide.py -->

```bash
ollama run exaone3.5:2.4b --verbose "한국어로 한 문장만 자기소개 해 주세요."
```

`--verbose`를 붙이면 답이 끝난 뒤 속도 통계가 나옵니다.

```
# 기대 출력(이 PC, 마지막 부분)
total duration:       4.2699482s
load duration:        3.9298266s
prompt eval rate:     759.52 tokens/s
eval rate:            103.99 tokens/s
```

`eval rate`가 답을 만들어 내는 속도입니다. 초당 104토큰이면 한국어 문장이 사람이 읽는 속도보다 훨씬 빠르게 나옵니다. 전체 4.3초 중 3.9초가 모델을 메모리에 올리는 시간(`load duration`)이었고, 같은 모델을 이어서 쓰면 이 시간은 사라집니다.

## 3. 큰 모델 돌려 보기

<!-- files: size_guide.py -->

같은 PC에서 31B 모델의 생성 속도를 API로 쟀습니다. 모델의 "생각하는 과정" 출력을 끄고(`think: false`) 120토큰까지만 만들게 했습니다.

```bash
curl -s localhost:11434/api/generate -d '{
  "model": "gemma4:31b",
  "prompt": "한국어로 두 문장으로 자기소개 해 주세요.",
  "stream": false, "think": false,
  "options": {"num_predict": 120}
}'
```

응답의 `eval_count`(만든 토큰 수)를 `eval_duration`(걸린 시간, 나노초)으로 나누면 속도가 됩니다. 이 실행에서는 115토큰을 7.07초에 만들어 초당 약 16토큰이었습니다. 처음 불러올 때는 모델을 올리는 데 26초가 걸렸습니다.

| 모델 | 파일 크기 | 생성 속도 | 처음 불러오는 시간 |
|---|---|---|---|
| exaone3.5:2.4b | 1.6GB | 약 104토큰/초 | 약 3.9초 |
| gemma4:31b | 20GB | 약 16토큰/초 | 약 26초 |

모델이 13배쯤 커지자 속도는 6분의 1 수준으로 떨어졌습니다. 16토큰/초도 채팅에는 쓸 만하지만, 긴 문서를 여러 번 처리하는 일에는 작은 모델이 훨씬 편합니다. 여러 번 재서 평균을 낸 값이 아니라 한 번씩 잰 값이므로 경향만 보시기 바랍니다.

## 4. 지금 메모리에 올라 있는 모델 확인하기

<!-- files: size_guide.py -->

```bash
ollama ps
```

```
# 기대 출력(이 PC)
NAME          SIZE      PROCESSOR    CONTEXT    UNTIL
gemma4:31b    2.0 GB    100% GPU     65536      Forever
```

`PROCESSOR` 열이 `100% GPU`이면 모델 전체가 그래픽 쪽 메모리에 올라갔다는 뜻이고, 그래픽 메모리가 모자라 일부가 CPU로 넘어가면 `30%/70% CPU/GPU`처럼 비율이 나뉘며 속도가 크게 떨어집니다. 이 PC에서는 `SIZE`가 2.0GB로 찍혔는데 파일은 20GB이므로, 이 열이 정확히 무엇을 뜻하는지는 확인하지 못했습니다. `UNTIL`이 `Forever`인 것은 이 PC에서 모델을 계속 올려 두도록 설정했기 때문입니다. 기본값에서는 마지막 사용 뒤 몇 분이 지나면 메모리에서 내립니다.

## 전체 코드

위 1~4단계의 계산과 측정을 한 번에 하는 파일입니다. `size_guide.py`로 저장하고 `python -X utf8 size_guide.py`로 실행합니다. 모델을 새로 받지 않고 이미 설치된 것만 읽습니다. 설치된 모델의 크기와 한 값당 비트 수, 작은 모델과 큰 모델의 속도, 지금 메모리에 올라간 상태가 순서대로 나옵니다.

![size_guide.py 실행 결과에서 설치된 모델마다 크기와 값 하나당 비트 수(4.9~5.3비트)가 나오고, 2.4B 모델은 초당 약 85토큰, 31B 모델은 초당 12~14토큰으로 측정되며, 메모리에 올라간 크기가 파일 크기와 다르게 나오는 것을 확인합니다.](https://copyandrun.com/img/local-ai-home-pc-model-size-guide/01-크기-속도-메모리.png)

```python
"""설치된 모델의 크기와 한 값당 비트 수를 계산하고, 작은 모델과 큰 모델의 속도를 재고, 메모리에 올라간 상태를 읽는다.

준비: Ollama 실행 중, ollama pull exaone3.5:2.4b, ollama pull gemma4:31b, pip install requests
주의: 모델을 새로 받지 않는다. 큰 모델(20GB)을 메모리에 올리므로 첫 호출에 수십 초가 걸린다.
실행: python -X utf8 size_guide.py   (약 1분)
"""
import re

import requests

URL = "http://localhost:11434"
SMALL, BIG = "exaone3.5:2.4b", "gemma4:31b"

print("## 1. 설치된 모델: 파일 크기와 값 하나당 비트 수")
print(f"{'모델':<30}{'크기':>8}{'매개변수':>9}{'비트/값':>9}  양자화")
for m in requests.get(f"{URL}/api/tags").json()["models"]:
    d = m["details"]
    gb = m["size"] / 1e9
    b = float(re.sub(r"[^0-9.]", "", d["parameter_size"]) or 0) * (1e6 if d["parameter_size"].endswith("M") else 1e9)
    bits = f"{m['size'] * 8 / b:.2f}" if b else "-"
    print(f"{m['name']:<30}{gb:>6.1f}GB{d['parameter_size']:>9}{bits:>9}  {d['quantization_level']}")


def run(model, prompt, **opt):
    d = requests.post(f"{URL}/api/generate", json={"model": model, "prompt": prompt, "stream": False, "think": False,
                                                    "options": {"num_predict": 120, **opt}}, timeout=900).json()
    return d["load_duration"] / 1e9, d["eval_count"] / (d["eval_duration"] / 1e9)


print("\n## 2. 속도(처음 호출의 모델 불러오기와, 이어서 두 번 더 잰 생성 속도)")
print(f"{'모델':<20}{'불러오기':>10}{'생성 속도(토큰/초)':>24}")
for m in (SMALL, BIG):
    load, r1 = run(m, "한국어로 두 문장으로 자기소개 해 주세요.")
    r2 = run(m, "로컬 AI의 장점을 두 문장으로 말해 주세요.")[1]
    r3 = run(m, "방화벽을 한 문장으로 설명해 주세요.")[1]
    print(f"{m:<20}{load:>9.1f}초{r1:>10.1f}{r2:>7.1f}{r3:>7.1f}")

print("\n## 3. 지금 메모리에 올라 있는 모델(ollama ps 와 같은 정보)")
print(f"{'모델':<28}{'올라간 전체':>12}{'그래픽 메모리':>14}{'컨텍스트':>10}")
for m in requests.get(f"{URL}/api/ps").json()["models"]:
    print(f"{m['name']:<28}{m['size'] / 1e9:>10.1f}GB{m['size_vram'] / 1e9:>12.1f}GB{m.get('context_length', '-'):>10}")
```

화면에서 읽을 것은 세 가지입니다.

- **비트 수 계산**: 4비트 양자화(Q4_K_M) 모델이 실제로는 값 하나에 4.9에서 5.3비트를 씁니다. 1단계의 "5비트 남짓"과 같은 결과이고, 어림에는 5비트를 쓰면 됩니다. `nomic-embed-text`는 F16(16비트)이어서 비율이 다릅니다.
- **속도는 날마다 조금 다릅니다**: 같은 2.4B 모델이 28일에는 104토큰/초, 29일에는 85토큰/초로 나왔습니다. 29일에는 큰 모델 두 개가 함께 메모리에 올라 있었고, 이 차이의 원인은 따로 확인하지 않았습니다. 31B 모델은 12에서 14토큰/초였습니다. 한두 번 잰 값은 20% 안팎으로 흔들리므로 모델 사이의 큰 차이만 믿습니다.
- **올라간 크기와 파일 크기**: 2.4B 모델은 파일이 1.6GB인데 올라간 크기는 4.1GB였습니다. 컨텍스트가 32768로 설정되어 있어서, 대화를 기억하는 작업 공간이 파일 크기에 더해진 것으로 추정합니다. 이 추정은 컨텍스트를 바꿔 확인하지 않았습니다. 31B 모델은 파일이 20GB인데 2.0GB로 나와서 이 설명으로는 맞지 않고, 이유는 여전히 모릅니다.

## 자주 막히는 곳

| 증상 | 원인과 해결 |
|---|---|
| 첫 답이 한참 늦게 나옵니다 | 모델을 메모리에 올리는 시간입니다. 다음 질문부터는 빨라집니다 |
| 답이 매우 느립니다 | `ollama ps`에서 `PROCESSOR`를 봅니다. CPU 비율이 높으면 더 작은 모델로 바꿉니다 |
| 큰 모델을 받다가 디스크가 찹니다 | `ollama list`로 크기를 확인하고, 안 쓰는 모델은 `ollama rm 모델이름`으로 지웁니다 |
| 한국어 답이 어색합니다 | 작은 모델은 한국어 품질이 떨어질 수 있습니다. 한국어에 맞춰 만든 모델이나 더 큰 모델을 같은 질문으로 비교합니다 |

## 이어서 해 볼 것

- **내 PC의 한계 찾기**: 모델 크기를 한 단계씩 올려 가며 `eval rate`와 `ollama ps`를 기록해, 쓸 만한 속도가 나오는 가장 큰 모델을 찾습니다.
- **화면 붙이기**: 터미널 대신 브라우저에서 채팅하려면 Open WebUI를 연결합니다. 같은 사이트의 Open WebUI 연결 글을 따라 합니다.
- **내 문서에 묻기**: PDF를 읽어 답하게 하려면 로컬 RAG 글을 이어서 봅니다.

## 확인 범위

- **해 본 것:** 2026-10-28, Windows 11 · Ollama 0.32.15, 위 하드웨어에서 `ollama list`, `ollama run --verbose`, API 호출, `ollama ps`를 실행했습니다. 29일에 전체 스크립트로 모델마다 세 번씩 다시 쟀습니다.
- **해 보지 않은 것:** 별도 그래픽 카드(NVIDIA 등)가 있는 PC, 메모리 16GB 이하 PC, Linux와 macOS에서의 속도.
- **읽을 때 주의:** 1단계 표의 "실행에 필요한 메모리 어림"은 잰 값이 아닙니다. `ollama ps`의 `SIZE`가 파일 크기보다 훨씬 작게 나온 이유는 찾지 못했습니다.
