# Ollama Modelfile로 말투와 길이가 고정된 나만의 도우미 모델 만들기

> Modelfile에 시스템 프롬프트와 파라미터를 적어 ollama create로 새 모델을 만들고, 같은 질문에 원본 모델과 얼마나 다르게 답하는지 토큰 수로 비교합니다. 파일 하나로 사내 도우미의 말투와 답변 길이를 고정하는 방법입니다.

- 주소: https://copyandrun.com/blog/ollama-modelfile-custom-assistant/
- 분야: AI
- 발행일: 2026-10-28
- 태그: Ollama, Modelfile, 시스템 프롬프트, 로컬 LLM

로컬 모델에 매번 "존댓말로, 짧게 답해 주세요"라고 붙이는 일은 번거롭고 자주 빠뜨립니다. Ollama는 이런 지시와 설정을 Modelfile이라는 파일에 적어 두고, 그 설정이 이미 들어 있는 새 모델 이름을 만들 수 있게 합니다. 모델 파일(가중치)은 복사되지 않고 원본을 그대로 쓰므로 디스크를 더 차지하지 않습니다. 이 글에서는 `exaone3.5:2.4b`로 사내 IT 도우미를 만들고 원본과 답을 비교합니다.

## 준비물

| 항목 | 확인한 버전 |
|---|---|
| Ollama | 0.32.15 (Windows 11) |
| 기반 모델 | `exaone3.5:2.4b` (1.6GB) |
| Python | 3.12.10, `requests` 2.34.2 (비교 스크립트용) |

## 1. Modelfile 작성

<!-- files: modelfile_demo.py -->

작업 폴더에 `Modelfile`이라는 이름으로 만듭니다. 확장자는 붙이지 않습니다.

```
FROM exaone3.5:2.4b
SYSTEM """당신은 사내 IT 도우미입니다. 항상 존댓말로, 세 문장 이내로 답합니다."""
PARAMETER temperature 0.2
PARAMETER num_ctx 4096
```

| 줄 | 하는 일 |
|---|---|
| `FROM` | 바탕이 될 모델입니다. `ollama list`에 있는 이름을 씁니다 |
| `SYSTEM` | 모든 대화 앞에 자동으로 붙는 지시입니다 |
| `PARAMETER temperature` | 낮을수록 같은 질문에 비슷한 답이 나옵니다 |
| `PARAMETER num_ctx` | 한 번에 기억하는 길이(토큰)입니다. 클수록 메모리를 더 씁니다 |

## 2. 모델 만들고 확인하기

<!-- files: modelfile_demo.py -->

```bash
ollama create it-helper -f Modelfile
ollama show it-helper --modelfile
```

```
# 기대 출력(일부)
FROM C:\Users\...\.ollama\models\blobs\sha256-d6e077ce...
SYSTEM 당신은 사내 IT 도우미입니다. 항상 존댓말로, 세 문장 이내로 답합니다.
PARAMETER temperature 0.2
PARAMETER num_ctx 4096
PARAMETER repeat_penalty 1
PARAMETER stop [|endofturn|]
```

내가 쓰지 않은 `repeat_penalty`와 `stop` 줄은 원본 모델이 가진 기본 설정이 따라온 것입니다. `FROM`이 가리키는 파일이 원본 모델의 파일과 같은 해시이므로 가중치가 복사되지 않은 것을 알 수 있습니다.

## 3. 원본과 비교하기

<!-- files: modelfile_demo.py -->

같은 질문을 두 모델에 보냅니다. 질문은 `회사 노트북 비밀번호를 잊어버렸습니다. 어떻게 해야 하나요?`입니다.

```python
import requests

q = "회사 노트북 비밀번호를 잊어버렸습니다. 어떻게 해야 하나요?"
for m in ["exaone3.5:2.4b", "it-helper"]:
    d = requests.post("http://localhost:11434/api/chat", json={
        "model": m, "stream": False,
        "messages": [{"role": "user", "content": q}]}).json()
    print(m, d["eval_count"], "tokens\n", d["message"]["content"], "\n")
```

Windows에서 한글을 출력하려면 `python -X utf8 compare.py`로 실행합니다.

| 모델 | 만든 토큰 수 | 답의 모양 |
|---|---|---|
| exaone3.5:2.4b | 407 | 번호 목록 세 항목, 굵은 글씨, 운영체제별 메뉴 경로 |
| it-helper | 79 | 존댓말 네 문장, 목록 없음 |

it-helper는 "세 문장 이내" 지시를 정확히 지키지는 못했습니다. 문장이 네 개였습니다. 작은 모델은 이런 개수 제한을 느슨하게 따릅니다. 그래도 길이가 5분의 1로 줄고 말투가 일정해졌으며, 답이 짧아진 만큼 같은 PC에서 응답 시간도 줄어듭니다.

질문을 세 개로 늘려 같은 방식으로 다시 쟀습니다(아래 전체 스크립트). 답의 길이는 세 질문 모두 원본의 약 1/5이었습니다.

| 질문 | 원본(토큰/글자) | it-helper-demo(토큰/글자) |
|---|---|---|
| 노트북 비밀번호 분실 | 474 / 983 | 72 / 163 |
| VPN이 자꾸 끊김 | 496 / 1054 | 93 / 199 |
| 프린터 출력 안 됨 | 332 / 690 | 68 / 138 |

답을 읽어 보니 한 가지 문제도 있었습니다. 첫 질문의 답에 `비밀번호를 forgotten 상태에서는`처럼 영어 단어가 섞여 나왔습니다. 작은 모델이 지시를 따라 길이는 줄였지만 문장 품질까지 좋아진 것은 아닙니다. Modelfile은 말투와 길이를 정해 주는 도구이고, 답의 정확성은 모델 크기와 질문에 달려 있습니다.

## 4. 정리하기

<!-- files: modelfile_demo.py -->

```bash
ollama rm it-helper
```

`ollama rm`은 만든 모델의 설정만 지우고, 원본 `exaone3.5:2.4b`는 그대로 둡니다. 전체 스크립트는 삭제 뒤 `ollama list`에 원본이 남아 있는지를 출력합니다.

## 전체 코드

Modelfile 쓰기, 모델 만들기, 설정 확인, 세 질문 비교, 정리까지 한 번에 실행하는 파일입니다. `modelfile_demo.py`로 저장하고 `python -X utf8 modelfile_demo.py`로 실행합니다. 만든 모델의 이름은 `it-helper-demo`이고 끝에서 이 모델만 지웁니다. 실행이 끝나면 임시로 쓴 `Modelfile`도 지웁니다.

![modelfile_demo.py 실행 결과에서 모델이 success로 만들어지고, 설정에 SYSTEM과 temperature 0.2와 num_ctx 4096이 들어 있으며, 세 질문 모두 답이 원본의 약 5분의 1 길이로 나오고, 마지막에 만든 모델만 지워지고 원본은 남는 것을 확인합니다.](https://copyandrun.com/img/ollama-modelfile-custom-assistant/01-modelfile-결과.png)

```python
"""Ollama Modelfile 로 사내 IT 도우미 모델을 만들고, 원본과 같은 질문 세 개로 답을 비교한 뒤 지운다.

준비: Ollama 실행 중, ollama pull exaone3.5:2.4b, pip install requests
주의: 만든 모델 이름은 it-helper-demo 이고 끝에서 이 모델만 지운다. 원본 모델은 건드리지 않는다.
실행: python -X utf8 modelfile_demo.py   (약 40초)
"""
import subprocess
from pathlib import Path

import requests

BASE = "exaone3.5:2.4b"
NEW = "it-helper-demo"
URL = "http://localhost:11434/api/chat"
QS = ["회사 노트북 비밀번호를 잊어버렸습니다. 어떻게 해야 하나요?",
      "VPN이 자꾸 끊깁니다. 무엇부터 확인하면 되나요?",
      "프린터에서 출력이 안 됩니다. 어떻게 하죠?"]

MODELFILE = f'''FROM {BASE}
SYSTEM """당신은 사내 IT 도우미입니다. 항상 존댓말로, 세 문장 이내로 답합니다."""
PARAMETER temperature 0.2
PARAMETER num_ctx 4096
'''
Path("Modelfile").write_text(MODELFILE, encoding="utf-8")

print("## 1. ollama create")
r = subprocess.run(["ollama", "create", NEW, "-f", "Modelfile"], capture_output=True, text=True, encoding="utf-8")
print("success" if "success" in (r.stdout + r.stderr) else "실패: " + r.stderr)   # 진행 표시 제어문자는 출력하지 않는다

print("## 2. ollama show --modelfile (줄 앞부분만)")
out = subprocess.run(["ollama", "show", NEW, "--modelfile"], capture_output=True, text=True, encoding="utf-8").stdout
for line in out.splitlines():
    if line.startswith(("FROM", "SYSTEM", "PARAMETER")):
        print(line[:70])


def ask(model, q):
    d = requests.post(URL, json={"model": model, "stream": False, "options": {"seed": 1},
                                 "messages": [{"role": "user", "content": q}]}, timeout=300).json()
    text = d["message"]["content"].strip()
    return d["eval_count"], len(text), text


print("## 3. 같은 질문 세 개, 원본과 비교(토큰 수 / 글자 수)")
print(f"{'질문':<4} {BASE:>16} {NEW:>18}")
last = {}
for i, q in enumerate(QS, 1):
    a = ask(BASE, q)
    b = ask(NEW, q)
    last[i] = b[2]
    print(f"{i:<4} {a[0]:>6}토큰/{a[1]:>4}자 {b[0]:>8}토큰/{b[1]:>4}자")

print("## 4. it-helper-demo 의 답(질문 1)")
print(last[1])

print("## 5. 정리")
print(subprocess.run(["ollama", "rm", NEW], capture_output=True, text=True, encoding="utf-8").stdout.strip())
names = subprocess.run(["ollama", "list"], capture_output=True, text=True, encoding="utf-8").stdout
print("원본 남음:", BASE in names, "| 만든 모델 남음:", NEW in names)
Path("Modelfile").unlink()
```

## 자주 막히는 곳

| 증상 | 원인과 해결 |
|---|---|
| `ollama create`가 `pull model manifest` 오류를 냅니다 | `FROM`의 모델 이름이 `ollama list`에 없습니다. 먼저 `ollama pull`로 받습니다 |
| 터미널에서 curl로 한글 질문을 보냈더니 엉뚱한 답이 나옵니다 | Windows Git Bash의 curl이 한글을 깨뜨려 보낸 경우가 있었습니다. 같은 질문이 Python에서는 정상 처리되었습니다. 한글 질문은 Python이나 파일(`-d @파일`)로 보냅니다 |
| 지시를 안 따릅니다 | 모델이 작을수록 개수 제한 같은 세밀한 지시를 놓칩니다. 지시를 더 짧고 단순하게 쓰거나 더 큰 모델로 바꿔 비교합니다 |
| 답이 중간에 끊깁니다 | `num_ctx`가 작은 경우입니다. 값을 올리고 다시 만듭니다 |

## 이어서 해 볼 것

- **temperature 비교**: 0.2와 1.0으로 같은 질문을 여러 번 보내 답이 얼마나 달라지는지 봅니다. 이 글에서는 시험하지 않았습니다.
- **Open WebUI에서 쓰기**: 만든 모델은 `ollama list`에 나타나므로 Open WebUI의 모델 선택 목록에서도 고를 수 있을 것으로 보이지만 확인하지 않았습니다.

## 확인 범위

- **해 본 것:** 2026-10-28, Windows 11 · Ollama 0.32.15에서 `ollama create`, `ollama show --modelfile`, API 호출, `ollama rm`을 실행했습니다. 29일에 질문 세 개로 전체 스크립트를 실행했고, 삭제 뒤 `ollama list`에서 원본이 남아 있는 것까지 확인했습니다. 질문마다 한 번씩 보낸 결과입니다.
- **해 보지 않은 것:** Linux와 macOS, 다른 기반 모델, 여러 번 반복한 평균.
- **읽을 때 주의:** 답은 실행마다 달라지므로 토큰 수는 어림값으로 봅니다.
