Copy & Run

Ollama Modelfile로 말투와 길이가 고정된 나만의 도우미 모델 만들기

Modelfile에 시스템 프롬프트와 파라미터를 적어 ollama create로 새 모델을 만들고, 같은 질문에 원본 모델과 얼마나 다르게 답하는지 토큰 수로 비교합니다. 파일 하나로 사내 도우미의 말투와 답변 길이를 고정하는 방법입니다.

실습 노트 · 2026-10-28 발행 · 8분 · 2026-10 확인
실습 코드 내려받기: 전체 받기(zip)GitHubmodelfile_demo.py

로컬 모델에 매번 "존댓말로, 짧게 답해 주세요"라고 붙이는 일은 번거롭고 자주 빠뜨립니다. Ollama는 이런 지시와 설정을 Modelfile이라는 파일에 적어 두고, 그 설정이 이미 들어 있는 새 모델 이름을 만들 수 있게 합니다. 모델 파일(가중치)은 복사되지 않고 원본을 그대로 쓰므로 디스크를 더 차지하지 않습니다. 이 글에서는 exaone3.5:2.4b로 사내 IT 도우미를 만들고 원본과 답을 비교합니다.

준비물

항목 확인한 버전
Ollama 0.32.15 (Windows 11)
기반 모델 exaone3.5:2.4b (1.6GB)
Python 3.12.10, requests 2.34.2 (비교 스크립트용)

1. Modelfile 작성

작업 폴더에 Modelfile이라는 이름으로 만듭니다. 확장자는 붙이지 않습니다.

FROM exaone3.5:2.4b
SYSTEM """당신은 사내 IT 도우미입니다. 항상 존댓말로, 세 문장 이내로 답합니다."""
PARAMETER temperature 0.2
PARAMETER num_ctx 4096
줄 하는 일
FROM 바탕이 될 모델입니다. ollama list에 있는 이름을 씁니다
SYSTEM 모든 대화 앞에 자동으로 붙는 지시입니다
PARAMETER temperature 낮을수록 같은 질문에 비슷한 답이 나옵니다
PARAMETER num_ctx 한 번에 기억하는 길이(토큰)입니다. 클수록 메모리를 더 씁니다
이 단계의 파일 내려받기:modelfile_demo.py

2. 모델 만들고 확인하기

ollama create it-helper -f Modelfile
ollama show it-helper --modelfile
# 기대 출력(일부)
FROM C:\Users\...\.ollama\models\blobs\sha256-d6e077ce...
SYSTEM 당신은 사내 IT 도우미입니다. 항상 존댓말로, 세 문장 이내로 답합니다.
PARAMETER temperature 0.2
PARAMETER num_ctx 4096
PARAMETER repeat_penalty 1
PARAMETER stop [|endofturn|]

내가 쓰지 않은 repeat_penalty와 stop 줄은 원본 모델이 가진 기본 설정이 따라온 것입니다. FROM이 가리키는 파일이 원본 모델의 파일과 같은 해시이므로 가중치가 복사되지 않은 것을 알 수 있습니다.

이 단계의 파일 내려받기:modelfile_demo.py

3. 원본과 비교하기

같은 질문을 두 모델에 보냅니다. 질문은 회사 노트북 비밀번호를 잊어버렸습니다. 어떻게 해야 하나요?입니다.

import requests

q = "회사 노트북 비밀번호를 잊어버렸습니다. 어떻게 해야 하나요?"
for m in ["exaone3.5:2.4b", "it-helper"]:
    d = requests.post("http://localhost:11434/api/chat", json={
        "model": m, "stream": False,
        "messages": [{"role": "user", "content": q}]}).json()
    print(m, d["eval_count"], "tokens\n", d["message"]["content"], "\n")

Windows에서 한글을 출력하려면 python -X utf8 compare.py로 실행합니다.

모델 만든 토큰 수 답의 모양
exaone3.5:2.4b 407 번호 목록 세 항목, 굵은 글씨, 운영체제별 메뉴 경로
it-helper 79 존댓말 네 문장, 목록 없음

it-helper는 "세 문장 이내" 지시를 정확히 지키지는 못했습니다. 문장이 네 개였습니다. 작은 모델은 이런 개수 제한을 느슨하게 따릅니다. 그래도 길이가 5분의 1로 줄고 말투가 일정해졌으며, 답이 짧아진 만큼 같은 PC에서 응답 시간도 줄어듭니다.

질문을 세 개로 늘려 같은 방식으로 다시 쟀습니다(아래 전체 스크립트). 답의 길이는 세 질문 모두 원본의 약 1/5이었습니다.

질문 원본(토큰/글자) it-helper-demo(토큰/글자)
노트북 비밀번호 분실 474 / 983 72 / 163
VPN이 자꾸 끊김 496 / 1054 93 / 199
프린터 출력 안 됨 332 / 690 68 / 138

답을 읽어 보니 한 가지 문제도 있었습니다. 첫 질문의 답에 비밀번호를 forgotten 상태에서는처럼 영어 단어가 섞여 나왔습니다. 작은 모델이 지시를 따라 길이는 줄였지만 문장 품질까지 좋아진 것은 아닙니다. Modelfile은 말투와 길이를 정해 주는 도구이고, 답의 정확성은 모델 크기와 질문에 달려 있습니다.

이 단계의 파일 내려받기:modelfile_demo.py

4. 정리하기

ollama rm it-helper

ollama rm은 만든 모델의 설정만 지우고, 원본 exaone3.5:2.4b는 그대로 둡니다. 전체 스크립트는 삭제 뒤 ollama list에 원본이 남아 있는지를 출력합니다.

이 단계의 파일 내려받기:modelfile_demo.py

전체 코드

Modelfile 쓰기, 모델 만들기, 설정 확인, 세 질문 비교, 정리까지 한 번에 실행하는 파일입니다. modelfile_demo.py로 저장하고 python -X utf8 modelfile_demo.py로 실행합니다. 만든 모델의 이름은 it-helper-demo이고 끝에서 이 모델만 지웁니다. 실행이 끝나면 임시로 쓴 Modelfile도 지웁니다.

modelfile_demo.py 실행 결과에서 모델이 success로 만들어지고, 설정에 SYSTEM과 temperature 0.2와 num_ctx 4096이 들어 있으며, 세 질문 모두 답이 원본의 약 5분의 1 길이로 나오고, 마지막에 만든 모델만 지워지고 원본은 남는 것을 확인합니다.
modelfile_demo.py 실행 결과에서 모델이 success로 만들어지고, 설정에 SYSTEM과 temperature 0.2와 num_ctx 4096이 들어 있으며, 세 질문 모두 답이 원본의 약 5분의 1 길이로 나오고, 마지막에 만든 모델만 지워지고 원본은 남는 것을 확인합니다.

"""Ollama Modelfile 로 사내 IT 도우미 모델을 만들고, 원본과 같은 질문 세 개로 답을 비교한 뒤 지운다.

준비: Ollama 실행 중, ollama pull exaone3.5:2.4b, pip install requests
주의: 만든 모델 이름은 it-helper-demo 이고 끝에서 이 모델만 지운다. 원본 모델은 건드리지 않는다.
실행: python -X utf8 modelfile_demo.py   (약 40초)
"""
import subprocess
from pathlib import Path

import requests

BASE = "exaone3.5:2.4b"
NEW = "it-helper-demo"
URL = "http://localhost:11434/api/chat"
QS = ["회사 노트북 비밀번호를 잊어버렸습니다. 어떻게 해야 하나요?",
      "VPN이 자꾸 끊깁니다. 무엇부터 확인하면 되나요?",
      "프린터에서 출력이 안 됩니다. 어떻게 하죠?"]

MODELFILE = f'''FROM {BASE}
SYSTEM """당신은 사내 IT 도우미입니다. 항상 존댓말로, 세 문장 이내로 답합니다."""
PARAMETER temperature 0.2
PARAMETER num_ctx 4096
'''
Path("Modelfile").write_text(MODELFILE, encoding="utf-8")

print("## 1. ollama create")
r = subprocess.run(["ollama", "create", NEW, "-f", "Modelfile"], capture_output=True, text=True, encoding="utf-8")
print("success" if "success" in (r.stdout + r.stderr) else "실패: " + r.stderr)   # 진행 표시 제어문자는 출력하지 않는다

print("## 2. ollama show --modelfile (줄 앞부분만)")
out = subprocess.run(["ollama", "show", NEW, "--modelfile"], capture_output=True, text=True, encoding="utf-8").stdout
for line in out.splitlines():
    if line.startswith(("FROM", "SYSTEM", "PARAMETER")):
        print(line[:70])


def ask(model, q):
    d = requests.post(URL, json={"model": model, "stream": False, "options": {"seed": 1},
                                 "messages": [{"role": "user", "content": q}]}, timeout=300).json()
    text = d["message"]["content"].strip()
    return d["eval_count"], len(text), text


print("## 3. 같은 질문 세 개, 원본과 비교(토큰 수 / 글자 수)")
print(f"{'질문':<4} {BASE:>16} {NEW:>18}")
last = {}
for i, q in enumerate(QS, 1):
    a = ask(BASE, q)
    b = ask(NEW, q)
    last[i] = b[2]
    print(f"{i:<4} {a[0]:>6}토큰/{a[1]:>4}자 {b[0]:>8}토큰/{b[1]:>4}자")

print("## 4. it-helper-demo 의 답(질문 1)")
print(last[1])

print("## 5. 정리")
print(subprocess.run(["ollama", "rm", NEW], capture_output=True, text=True, encoding="utf-8").stdout.strip())
names = subprocess.run(["ollama", "list"], capture_output=True, text=True, encoding="utf-8").stdout
print("원본 남음:", BASE in names, "| 만든 모델 남음:", NEW in names)
Path("Modelfile").unlink()
이 단계의 파일 내려받기:modelfile_demo.py

자주 막히는 곳

증상 원인과 해결
ollama create가 pull model manifest 오류를 냅니다 FROM의 모델 이름이 ollama list에 없습니다. 먼저 ollama pull로 받습니다
터미널에서 curl로 한글 질문을 보냈더니 엉뚱한 답이 나옵니다 Windows Git Bash의 curl이 한글을 깨뜨려 보낸 경우가 있었습니다. 같은 질문이 Python에서는 정상 처리되었습니다. 한글 질문은 Python이나 파일(-d @파일)로 보냅니다
지시를 안 따릅니다 모델이 작을수록 개수 제한 같은 세밀한 지시를 놓칩니다. 지시를 더 짧고 단순하게 쓰거나 더 큰 모델로 바꿔 비교합니다
답이 중간에 끊깁니다 num_ctx가 작은 경우입니다. 값을 올리고 다시 만듭니다

이어서 해 볼 것

  • temperature 비교: 0.2와 1.0으로 같은 질문을 여러 번 보내 답이 얼마나 달라지는지 봅니다. 이 글에서는 시험하지 않았습니다.
  • Open WebUI에서 쓰기: 만든 모델은 ollama list에 나타나므로 Open WebUI의 모델 선택 목록에서도 고를 수 있을 것으로 보이지만 확인하지 않았습니다.

확인 범위

  • 해 본 것: 2026-10-28, Windows 11 · Ollama 0.32.15에서 ollama create, ollama show --modelfile, API 호출, ollama rm을 실행했습니다. 29일에 질문 세 개로 전체 스크립트를 실행했고, 삭제 뒤 ollama list에서 원본이 남아 있는 것까지 확인했습니다. 질문마다 한 번씩 보낸 결과입니다.
  • 해 보지 않은 것: Linux와 macOS, 다른 기반 모델, 여러 번 반복한 평균.
  • 읽을 때 주의: 답은 실행마다 달라지므로 토큰 수는 어림값으로 봅니다.

이 글은 Ollama와 로컬 LLM 실습 로드맵의 한 단계입니다.

이 글의 다음 단계

이 내용을 팀 교육으로 진행하고 싶으신가요?

인원, 수준, 일정에 맞춰 실습 환경까지 준비해 진행합니다. 대상과 기간을 알려 주시면 구성을 제안해 드립니다.

교육 문의하기

교육 진행 순서와 자주 묻는 질문 보기

팀이나 교육 담당자에게 이 글 제안하기

메일로 보내실 수도 있습니다: fankh111@gmail.com

같은 카테고리의 글