로컬 AI는 인터넷 서비스에 글을 보내지 않고 내 PC 안에서 언어 모델을 돌리는 방식입니다. 회사 문서나 개인 자료를 외부에 올리기 어려울 때, 인터넷이 없는 곳에서 쓸 때, 사용량 요금이 부담될 때 고려합니다. 처음 시작하는 사람이 가장 먼저 막히는 곳은 설치가 아니라 "내 컴퓨터에 어떤 모델이 맞는가"입니다. 이 글에서는 모델 크기와 메모리의 관계를 계산하는 방법을 정리하고, 같은 PC에서 작은 모델과 큰 모델을 돌려 속도 차이를 숫자로 확인합니다.
준비물
| 항목 | 확인한 값 |
|---|---|
| PC | AMD Ryzen AI Max+ 395 (Radeon 8060S 내장 그래픽), 메모리 약 96GB, Windows 11 |
| Ollama | 0.32.15 |
| 비교한 모델 | exaone3.5:2.4b, gemma4:31b |
이 PC는 CPU와 그래픽이 메모리를 함께 쓰는 구조라서, 별도 그래픽 카드를 단 일반 데스크톱과는 메모리 사정이 다릅니다. 아래 계산법은 같지만 숫자는 내 PC에 맞춰 읽어야 합니다.
1. 모델 크기와 필요한 메모리
모델 파일의 크기는 대략 "매개변수 수 x 한 값을 저장하는 비트 수"입니다. 매개변수 수는 모델 이름의 2.4b, 31b처럼 숫자 뒤에 B(십억)가 붙어 표시됩니다. 내려받는 모델은 보통 4비트 안팎으로 줄여 저장한(양자화) 형태라서 원래 크기보다 훨씬 작습니다.
ollama list
# 기대 출력(이 PC)
NAME SIZE
gemma4:31b 20 GB
exaone3.5:2.4b 1.6 GB
qwen2.5:3b-instruct-q4_K_M 1.9 GB
nomic-embed-text:latest 274 MB
31B 모델이 20GB이니 매개변수 하나에 약 0.65바이트, 곧 5비트 남짓입니다. 2.4B 모델은 1.6GB로 비슷한 비율입니다. 이 비율을 어림값으로 쓰면 내려받기 전에 필요한 용량을 짐작할 수 있습니다.
| 모델 크기 | 파일 크기 어림 | 실행에 필요한 메모리 어림 |
|---|---|---|
| 3B 안팎 | 2GB 안팎 | 4GB 이상 |
| 8B 안팎 | 5GB 안팎 | 8GB 이상 |
| 30B 안팎 | 20GB 안팎 | 24GB 이상 |
파일 크기는 위 두 모델에서 확인한 비율로 계산한 어림값입니다. 실행에 필요한 메모리는 파일보다 큽니다. 대화 길이(컨텍스트)에 따라 늘어나는 작업 공간이 파일 크기에 더해지기 때문입니다. 이 열의 숫자는 이 글에서 측정하지 않은 경험칙이므로, 내 PC에서는 아래 3단계처럼 직접 올려 보고 판단합니다.
2. 작은 모델 돌려 보기
ollama run exaone3.5:2.4b --verbose "한국어로 한 문장만 자기소개 해 주세요."
--verbose를 붙이면 답이 끝난 뒤 속도 통계가 나옵니다.
# 기대 출력(이 PC, 마지막 부분)
total duration: 4.2699482s
load duration: 3.9298266s
prompt eval rate: 759.52 tokens/s
eval rate: 103.99 tokens/s
eval rate가 답을 만들어 내는 속도입니다. 초당 104토큰이면 한국어 문장이 사람이 읽는 속도보다 훨씬 빠르게 나옵니다. 전체 4.3초 중 3.9초가 모델을 메모리에 올리는 시간(load duration)이었고, 같은 모델을 이어서 쓰면 이 시간은 사라집니다.
3. 큰 모델 돌려 보기
같은 PC에서 31B 모델의 생성 속도를 API로 쟀습니다. 모델의 "생각하는 과정" 출력을 끄고(think: false) 120토큰까지만 만들게 했습니다.
curl -s localhost:11434/api/generate -d '{
"model": "gemma4:31b",
"prompt": "한국어로 두 문장으로 자기소개 해 주세요.",
"stream": false, "think": false,
"options": {"num_predict": 120}
}'
응답의 eval_count(만든 토큰 수)를 eval_duration(걸린 시간, 나노초)으로 나누면 속도가 됩니다. 이 실행에서는 115토큰을 7.07초에 만들어 초당 약 16토큰이었습니다. 처음 불러올 때는 모델을 올리는 데 26초가 걸렸습니다.
| 모델 | 파일 크기 | 생성 속도 | 처음 불러오는 시간 |
|---|---|---|---|
| exaone3.5:2.4b | 1.6GB | 약 104토큰/초 | 약 3.9초 |
| gemma4:31b | 20GB | 약 16토큰/초 | 약 26초 |
모델이 13배쯤 커지자 속도는 6분의 1 수준으로 떨어졌습니다. 16토큰/초도 채팅에는 쓸 만하지만, 긴 문서를 여러 번 처리하는 일에는 작은 모델이 훨씬 편합니다. 여러 번 재서 평균을 낸 값이 아니라 한 번씩 잰 값이므로 경향만 보시기 바랍니다.
4. 지금 메모리에 올라 있는 모델 확인하기
ollama ps
# 기대 출력(이 PC)
NAME SIZE PROCESSOR CONTEXT UNTIL
gemma4:31b 2.0 GB 100% GPU 65536 Forever
PROCESSOR 열이 100% GPU이면 모델 전체가 그래픽 쪽 메모리에 올라갔다는 뜻이고, 그래픽 메모리가 모자라 일부가 CPU로 넘어가면 30%/70% CPU/GPU처럼 비율이 나뉘며 속도가 크게 떨어집니다. 이 PC에서는 SIZE가 2.0GB로 찍혔는데 파일은 20GB이므로, 이 열이 정확히 무엇을 뜻하는지는 확인하지 못했습니다. UNTIL이 Forever인 것은 이 PC에서 모델을 계속 올려 두도록 설정했기 때문입니다. 기본값에서는 마지막 사용 뒤 몇 분이 지나면 메모리에서 내립니다.
전체 코드
위 1~4단계의 계산과 측정을 한 번에 하는 파일입니다. size_guide.py로 저장하고 python -X utf8 size_guide.py로 실행합니다. 모델을 새로 받지 않고 이미 설치된 것만 읽습니다. 설치된 모델의 크기와 한 값당 비트 수, 작은 모델과 큰 모델의 속도, 지금 메모리에 올라간 상태가 순서대로 나옵니다.

"""설치된 모델의 크기와 한 값당 비트 수를 계산하고, 작은 모델과 큰 모델의 속도를 재고, 메모리에 올라간 상태를 읽는다.
준비: Ollama 실행 중, ollama pull exaone3.5:2.4b, ollama pull gemma4:31b, pip install requests
주의: 모델을 새로 받지 않는다. 큰 모델(20GB)을 메모리에 올리므로 첫 호출에 수십 초가 걸린다.
실행: python -X utf8 size_guide.py (약 1분)
"""
import re
import requests
URL = "http://localhost:11434"
SMALL, BIG = "exaone3.5:2.4b", "gemma4:31b"
print("## 1. 설치된 모델: 파일 크기와 값 하나당 비트 수")
print(f"{'모델':<30}{'크기':>8}{'매개변수':>9}{'비트/값':>9} 양자화")
for m in requests.get(f"{URL}/api/tags").json()["models"]:
d = m["details"]
gb = m["size"] / 1e9
b = float(re.sub(r"[^0-9.]", "", d["parameter_size"]) or 0) * (1e6 if d["parameter_size"].endswith("M") else 1e9)
bits = f"{m['size'] * 8 / b:.2f}" if b else "-"
print(f"{m['name']:<30}{gb:>6.1f}GB{d['parameter_size']:>9}{bits:>9} {d['quantization_level']}")
def run(model, prompt, **opt):
d = requests.post(f"{URL}/api/generate", json={"model": model, "prompt": prompt, "stream": False, "think": False,
"options": {"num_predict": 120, **opt}}, timeout=900).json()
return d["load_duration"] / 1e9, d["eval_count"] / (d["eval_duration"] / 1e9)
print("\n## 2. 속도(처음 호출의 모델 불러오기와, 이어서 두 번 더 잰 생성 속도)")
print(f"{'모델':<20}{'불러오기':>10}{'생성 속도(토큰/초)':>24}")
for m in (SMALL, BIG):
load, r1 = run(m, "한국어로 두 문장으로 자기소개 해 주세요.")
r2 = run(m, "로컬 AI의 장점을 두 문장으로 말해 주세요.")[1]
r3 = run(m, "방화벽을 한 문장으로 설명해 주세요.")[1]
print(f"{m:<20}{load:>9.1f}초{r1:>10.1f}{r2:>7.1f}{r3:>7.1f}")
print("\n## 3. 지금 메모리에 올라 있는 모델(ollama ps 와 같은 정보)")
print(f"{'모델':<28}{'올라간 전체':>12}{'그래픽 메모리':>14}{'컨텍스트':>10}")
for m in requests.get(f"{URL}/api/ps").json()["models"]:
print(f"{m['name']:<28}{m['size'] / 1e9:>10.1f}GB{m['size_vram'] / 1e9:>12.1f}GB{m.get('context_length', '-'):>10}")
화면에서 읽을 것은 세 가지입니다.
- 비트 수 계산: 4비트 양자화(Q4_K_M) 모델이 실제로는 값 하나에 4.9에서 5.3비트를 씁니다. 1단계의 "5비트 남짓"과 같은 결과이고, 어림에는 5비트를 쓰면 됩니다.
nomic-embed-text는 F16(16비트)이어서 비율이 다릅니다. - 속도는 날마다 조금 다릅니다: 같은 2.4B 모델이 28일에는 104토큰/초, 29일에는 85토큰/초로 나왔습니다. 29일에는 큰 모델 두 개가 함께 메모리에 올라 있었고, 이 차이의 원인은 따로 확인하지 않았습니다. 31B 모델은 12에서 14토큰/초였습니다. 한두 번 잰 값은 20% 안팎으로 흔들리므로 모델 사이의 큰 차이만 믿습니다.
- 올라간 크기와 파일 크기: 2.4B 모델은 파일이 1.6GB인데 올라간 크기는 4.1GB였습니다. 컨텍스트가 32768로 설정되어 있어서, 대화를 기억하는 작업 공간이 파일 크기에 더해진 것으로 추정합니다. 이 추정은 컨텍스트를 바꿔 확인하지 않았습니다. 31B 모델은 파일이 20GB인데 2.0GB로 나와서 이 설명으로는 맞지 않고, 이유는 여전히 모릅니다.
자주 막히는 곳
| 증상 | 원인과 해결 |
|---|---|
| 첫 답이 한참 늦게 나옵니다 | 모델을 메모리에 올리는 시간입니다. 다음 질문부터는 빨라집니다 |
| 답이 매우 느립니다 | ollama ps에서 PROCESSOR를 봅니다. CPU 비율이 높으면 더 작은 모델로 바꿉니다 |
| 큰 모델을 받다가 디스크가 찹니다 | ollama list로 크기를 확인하고, 안 쓰는 모델은 ollama rm 모델이름으로 지웁니다 |
| 한국어 답이 어색합니다 | 작은 모델은 한국어 품질이 떨어질 수 있습니다. 한국어에 맞춰 만든 모델이나 더 큰 모델을 같은 질문으로 비교합니다 |
이어서 해 볼 것
- 내 PC의 한계 찾기: 모델 크기를 한 단계씩 올려 가며
eval rate와ollama ps를 기록해, 쓸 만한 속도가 나오는 가장 큰 모델을 찾습니다. - 화면 붙이기: 터미널 대신 브라우저에서 채팅하려면 Open WebUI를 연결합니다. 같은 사이트의 Open WebUI 연결 글을 따라 합니다.
- 내 문서에 묻기: PDF를 읽어 답하게 하려면 로컬 RAG 글을 이어서 봅니다.
확인 범위
- 해 본 것: 2026-10-28, Windows 11 · Ollama 0.32.15, 위 하드웨어에서
ollama list,ollama run --verbose, API 호출,ollama ps를 실행했습니다. 29일에 전체 스크립트로 모델마다 세 번씩 다시 쟀습니다. - 해 보지 않은 것: 별도 그래픽 카드(NVIDIA 등)가 있는 PC, 메모리 16GB 이하 PC, Linux와 macOS에서의 속도.
- 읽을 때 주의: 1단계 표의 "실행에 필요한 메모리 어림"은 잰 값이 아닙니다.
ollama ps의SIZE가 파일 크기보다 훨씬 작게 나온 이유는 찾지 못했습니다.
이 글은 Ollama와 로컬 LLM 실습 로드맵의 한 단계입니다.
이 글의 다음 단계
- Ollama Modelfile로 말투와 길이가 고정된 나만의 도우미 모델 만들기Modelfile에 시스템 프롬프트와 파라미터를 적어 ollama create로 새 모델을 만들고, 같은 질문에 원본 모델과 얼마나 다르게 답하는지 토큰 수로 비교합니다. 파일 하나로 사내 도우미의 말투와 답변 길이를 고정하는 방법입니다.
- llama.cpp와 GGUF 파일로 내 PC 속도 재기: llama-bench로 1B와 7B 비교Ollama 없이 llama.cpp의 llama-bench로 GGUF 모델을 직접 재 봅니다. 내장 그래픽의 Vulkan으로 1B와 7B 모델의 입력 읽기 속도와 생성 속도를 3회 평균으로 비교하고, 파일 크기에서 양자화 비트 수를 계산하는 전체 스크립트를 실행합니다.
이 내용을 팀 교육으로 진행하고 싶으신가요?
인원, 수준, 일정에 맞춰 실습 환경까지 준비해 진행합니다. 대상과 기간을 알려 주시면 구성을 제안해 드립니다.
교육 문의하기메일로 보내실 수도 있습니다: fankh111@gmail.com