Copy & Run

집 PC에서 로컬 AI 돌리기: 메모리로 모델 크기 고르고 속도 재 보기

Ollama로 내 PC에서 AI 모델을 돌릴 때 가장 먼저 부딪히는 질문, 어떤 크기의 모델이 내 컴퓨터에 맞는지를 다룹니다. 모델 파일 크기와 메모리의 관계를 계산하고, 2.4B 모델과 31B 모델을 같은 PC에서 돌려 초당 토큰 수를 직접 비교합니다.

실습 노트 · 2026-10-28 발행 · 8분 · 2026-10 확인
실습 코드 내려받기: 전체 받기(zip)GitHubsize_guide.py

로컬 AI는 인터넷 서비스에 글을 보내지 않고 내 PC 안에서 언어 모델을 돌리는 방식입니다. 회사 문서나 개인 자료를 외부에 올리기 어려울 때, 인터넷이 없는 곳에서 쓸 때, 사용량 요금이 부담될 때 고려합니다. 처음 시작하는 사람이 가장 먼저 막히는 곳은 설치가 아니라 "내 컴퓨터에 어떤 모델이 맞는가"입니다. 이 글에서는 모델 크기와 메모리의 관계를 계산하는 방법을 정리하고, 같은 PC에서 작은 모델과 큰 모델을 돌려 속도 차이를 숫자로 확인합니다.

준비물

항목 확인한 값
PC AMD Ryzen AI Max+ 395 (Radeon 8060S 내장 그래픽), 메모리 약 96GB, Windows 11
Ollama 0.32.15
비교한 모델 exaone3.5:2.4b, gemma4:31b

이 PC는 CPU와 그래픽이 메모리를 함께 쓰는 구조라서, 별도 그래픽 카드를 단 일반 데스크톱과는 메모리 사정이 다릅니다. 아래 계산법은 같지만 숫자는 내 PC에 맞춰 읽어야 합니다.

1. 모델 크기와 필요한 메모리

모델 파일의 크기는 대략 "매개변수 수 x 한 값을 저장하는 비트 수"입니다. 매개변수 수는 모델 이름의 2.4b, 31b처럼 숫자 뒤에 B(십억)가 붙어 표시됩니다. 내려받는 모델은 보통 4비트 안팎으로 줄여 저장한(양자화) 형태라서 원래 크기보다 훨씬 작습니다.

ollama list
# 기대 출력(이 PC)
NAME                          SIZE
gemma4:31b                    20 GB
exaone3.5:2.4b                1.6 GB
qwen2.5:3b-instruct-q4_K_M    1.9 GB
nomic-embed-text:latest       274 MB

31B 모델이 20GB이니 매개변수 하나에 약 0.65바이트, 곧 5비트 남짓입니다. 2.4B 모델은 1.6GB로 비슷한 비율입니다. 이 비율을 어림값으로 쓰면 내려받기 전에 필요한 용량을 짐작할 수 있습니다.

모델 크기 파일 크기 어림 실행에 필요한 메모리 어림
3B 안팎 2GB 안팎 4GB 이상
8B 안팎 5GB 안팎 8GB 이상
30B 안팎 20GB 안팎 24GB 이상

파일 크기는 위 두 모델에서 확인한 비율로 계산한 어림값입니다. 실행에 필요한 메모리는 파일보다 큽니다. 대화 길이(컨텍스트)에 따라 늘어나는 작업 공간이 파일 크기에 더해지기 때문입니다. 이 열의 숫자는 이 글에서 측정하지 않은 경험칙이므로, 내 PC에서는 아래 3단계처럼 직접 올려 보고 판단합니다.

이 단계의 파일 내려받기:size_guide.py

2. 작은 모델 돌려 보기

ollama run exaone3.5:2.4b --verbose "한국어로 한 문장만 자기소개 해 주세요."

--verbose를 붙이면 답이 끝난 뒤 속도 통계가 나옵니다.

# 기대 출력(이 PC, 마지막 부분)
total duration:       4.2699482s
load duration:        3.9298266s
prompt eval rate:     759.52 tokens/s
eval rate:            103.99 tokens/s

eval rate가 답을 만들어 내는 속도입니다. 초당 104토큰이면 한국어 문장이 사람이 읽는 속도보다 훨씬 빠르게 나옵니다. 전체 4.3초 중 3.9초가 모델을 메모리에 올리는 시간(load duration)이었고, 같은 모델을 이어서 쓰면 이 시간은 사라집니다.

이 단계의 파일 내려받기:size_guide.py

3. 큰 모델 돌려 보기

같은 PC에서 31B 모델의 생성 속도를 API로 쟀습니다. 모델의 "생각하는 과정" 출력을 끄고(think: false) 120토큰까지만 만들게 했습니다.

curl -s localhost:11434/api/generate -d '{
  "model": "gemma4:31b",
  "prompt": "한국어로 두 문장으로 자기소개 해 주세요.",
  "stream": false, "think": false,
  "options": {"num_predict": 120}
}'

응답의 eval_count(만든 토큰 수)를 eval_duration(걸린 시간, 나노초)으로 나누면 속도가 됩니다. 이 실행에서는 115토큰을 7.07초에 만들어 초당 약 16토큰이었습니다. 처음 불러올 때는 모델을 올리는 데 26초가 걸렸습니다.

모델 파일 크기 생성 속도 처음 불러오는 시간
exaone3.5:2.4b 1.6GB 약 104토큰/초 약 3.9초
gemma4:31b 20GB 약 16토큰/초 약 26초

모델이 13배쯤 커지자 속도는 6분의 1 수준으로 떨어졌습니다. 16토큰/초도 채팅에는 쓸 만하지만, 긴 문서를 여러 번 처리하는 일에는 작은 모델이 훨씬 편합니다. 여러 번 재서 평균을 낸 값이 아니라 한 번씩 잰 값이므로 경향만 보시기 바랍니다.

이 단계의 파일 내려받기:size_guide.py

4. 지금 메모리에 올라 있는 모델 확인하기

ollama ps
# 기대 출력(이 PC)
NAME          SIZE      PROCESSOR    CONTEXT    UNTIL
gemma4:31b    2.0 GB    100% GPU     65536      Forever

PROCESSOR 열이 100% GPU이면 모델 전체가 그래픽 쪽 메모리에 올라갔다는 뜻이고, 그래픽 메모리가 모자라 일부가 CPU로 넘어가면 30%/70% CPU/GPU처럼 비율이 나뉘며 속도가 크게 떨어집니다. 이 PC에서는 SIZE가 2.0GB로 찍혔는데 파일은 20GB이므로, 이 열이 정확히 무엇을 뜻하는지는 확인하지 못했습니다. UNTIL이 Forever인 것은 이 PC에서 모델을 계속 올려 두도록 설정했기 때문입니다. 기본값에서는 마지막 사용 뒤 몇 분이 지나면 메모리에서 내립니다.

이 단계의 파일 내려받기:size_guide.py

전체 코드

위 1~4단계의 계산과 측정을 한 번에 하는 파일입니다. size_guide.py로 저장하고 python -X utf8 size_guide.py로 실행합니다. 모델을 새로 받지 않고 이미 설치된 것만 읽습니다. 설치된 모델의 크기와 한 값당 비트 수, 작은 모델과 큰 모델의 속도, 지금 메모리에 올라간 상태가 순서대로 나옵니다.

size_guide.py 실행 결과에서 설치된 모델마다 크기와 값 하나당 비트 수(4.9~5.3비트)가 나오고, 2.4B 모델은 초당 약 85토큰, 31B 모델은 초당 12~14토큰으로 측정되며, 메모리에 올라간 크기가 파일 크기와 다르게 나오는 것을 확인합니다.
size_guide.py 실행 결과에서 설치된 모델마다 크기와 값 하나당 비트 수(4.9~5.3비트)가 나오고, 2.4B 모델은 초당 약 85토큰, 31B 모델은 초당 12~14토큰으로 측정되며, 메모리에 올라간 크기가 파일 크기와 다르게 나오는 것을 확인합니다.

"""설치된 모델의 크기와 한 값당 비트 수를 계산하고, 작은 모델과 큰 모델의 속도를 재고, 메모리에 올라간 상태를 읽는다.

준비: Ollama 실행 중, ollama pull exaone3.5:2.4b, ollama pull gemma4:31b, pip install requests
주의: 모델을 새로 받지 않는다. 큰 모델(20GB)을 메모리에 올리므로 첫 호출에 수십 초가 걸린다.
실행: python -X utf8 size_guide.py   (약 1분)
"""
import re

import requests

URL = "http://localhost:11434"
SMALL, BIG = "exaone3.5:2.4b", "gemma4:31b"

print("## 1. 설치된 모델: 파일 크기와 값 하나당 비트 수")
print(f"{'모델':<30}{'크기':>8}{'매개변수':>9}{'비트/값':>9}  양자화")
for m in requests.get(f"{URL}/api/tags").json()["models"]:
    d = m["details"]
    gb = m["size"] / 1e9
    b = float(re.sub(r"[^0-9.]", "", d["parameter_size"]) or 0) * (1e6 if d["parameter_size"].endswith("M") else 1e9)
    bits = f"{m['size'] * 8 / b:.2f}" if b else "-"
    print(f"{m['name']:<30}{gb:>6.1f}GB{d['parameter_size']:>9}{bits:>9}  {d['quantization_level']}")


def run(model, prompt, **opt):
    d = requests.post(f"{URL}/api/generate", json={"model": model, "prompt": prompt, "stream": False, "think": False,
                                                    "options": {"num_predict": 120, **opt}}, timeout=900).json()
    return d["load_duration"] / 1e9, d["eval_count"] / (d["eval_duration"] / 1e9)


print("\n## 2. 속도(처음 호출의 모델 불러오기와, 이어서 두 번 더 잰 생성 속도)")
print(f"{'모델':<20}{'불러오기':>10}{'생성 속도(토큰/초)':>24}")
for m in (SMALL, BIG):
    load, r1 = run(m, "한국어로 두 문장으로 자기소개 해 주세요.")
    r2 = run(m, "로컬 AI의 장점을 두 문장으로 말해 주세요.")[1]
    r3 = run(m, "방화벽을 한 문장으로 설명해 주세요.")[1]
    print(f"{m:<20}{load:>9.1f}초{r1:>10.1f}{r2:>7.1f}{r3:>7.1f}")

print("\n## 3. 지금 메모리에 올라 있는 모델(ollama ps 와 같은 정보)")
print(f"{'모델':<28}{'올라간 전체':>12}{'그래픽 메모리':>14}{'컨텍스트':>10}")
for m in requests.get(f"{URL}/api/ps").json()["models"]:
    print(f"{m['name']:<28}{m['size'] / 1e9:>10.1f}GB{m['size_vram'] / 1e9:>12.1f}GB{m.get('context_length', '-'):>10}")

화면에서 읽을 것은 세 가지입니다.

  • 비트 수 계산: 4비트 양자화(Q4_K_M) 모델이 실제로는 값 하나에 4.9에서 5.3비트를 씁니다. 1단계의 "5비트 남짓"과 같은 결과이고, 어림에는 5비트를 쓰면 됩니다. nomic-embed-text는 F16(16비트)이어서 비율이 다릅니다.
  • 속도는 날마다 조금 다릅니다: 같은 2.4B 모델이 28일에는 104토큰/초, 29일에는 85토큰/초로 나왔습니다. 29일에는 큰 모델 두 개가 함께 메모리에 올라 있었고, 이 차이의 원인은 따로 확인하지 않았습니다. 31B 모델은 12에서 14토큰/초였습니다. 한두 번 잰 값은 20% 안팎으로 흔들리므로 모델 사이의 큰 차이만 믿습니다.
  • 올라간 크기와 파일 크기: 2.4B 모델은 파일이 1.6GB인데 올라간 크기는 4.1GB였습니다. 컨텍스트가 32768로 설정되어 있어서, 대화를 기억하는 작업 공간이 파일 크기에 더해진 것으로 추정합니다. 이 추정은 컨텍스트를 바꿔 확인하지 않았습니다. 31B 모델은 파일이 20GB인데 2.0GB로 나와서 이 설명으로는 맞지 않고, 이유는 여전히 모릅니다.
이 단계의 파일 내려받기:size_guide.py

자주 막히는 곳

증상 원인과 해결
첫 답이 한참 늦게 나옵니다 모델을 메모리에 올리는 시간입니다. 다음 질문부터는 빨라집니다
답이 매우 느립니다 ollama ps에서 PROCESSOR를 봅니다. CPU 비율이 높으면 더 작은 모델로 바꿉니다
큰 모델을 받다가 디스크가 찹니다 ollama list로 크기를 확인하고, 안 쓰는 모델은 ollama rm 모델이름으로 지웁니다
한국어 답이 어색합니다 작은 모델은 한국어 품질이 떨어질 수 있습니다. 한국어에 맞춰 만든 모델이나 더 큰 모델을 같은 질문으로 비교합니다

이어서 해 볼 것

  • 내 PC의 한계 찾기: 모델 크기를 한 단계씩 올려 가며 eval rate와 ollama ps를 기록해, 쓸 만한 속도가 나오는 가장 큰 모델을 찾습니다.
  • 화면 붙이기: 터미널 대신 브라우저에서 채팅하려면 Open WebUI를 연결합니다. 같은 사이트의 Open WebUI 연결 글을 따라 합니다.
  • 내 문서에 묻기: PDF를 읽어 답하게 하려면 로컬 RAG 글을 이어서 봅니다.

확인 범위

  • 해 본 것: 2026-10-28, Windows 11 · Ollama 0.32.15, 위 하드웨어에서 ollama list, ollama run --verbose, API 호출, ollama ps를 실행했습니다. 29일에 전체 스크립트로 모델마다 세 번씩 다시 쟀습니다.
  • 해 보지 않은 것: 별도 그래픽 카드(NVIDIA 등)가 있는 PC, 메모리 16GB 이하 PC, Linux와 macOS에서의 속도.
  • 읽을 때 주의: 1단계 표의 "실행에 필요한 메모리 어림"은 잰 값이 아닙니다. ollama ps의 SIZE가 파일 크기보다 훨씬 작게 나온 이유는 찾지 못했습니다.

이 글은 Ollama와 로컬 LLM 실습 로드맵의 한 단계입니다.

이 글의 다음 단계

이 내용을 팀 교육으로 진행하고 싶으신가요?

인원, 수준, 일정에 맞춰 실습 환경까지 준비해 진행합니다. 대상과 기간을 알려 주시면 구성을 제안해 드립니다.

교육 문의하기

교육 진행 순서와 자주 묻는 질문 보기

팀이나 교육 담당자에게 이 글 제안하기

메일로 보내실 수도 있습니다: fankh111@gmail.com

같은 카테고리의 글