Ollama와 로컬 LLM 실습 로드맵
내 PC에서 Ollama와 llama.cpp로 언어 모델을 돌리는 실습을 읽는 순서대로 모았습니다. 모델 크기 고르기에서 시작해 설정값 측정, 파이썬 API 호출, 문서 검색(RAG)과 도구 호출, 화면 연결, 보안 점검으로 이어집니다. 모든 글은 직접 실행한 명령과 출력을 싣습니다.
1. 모델 고르기와 속도 재기
메모리에 맞는 모델 크기를 먼저 정하고, 내 PC에서 실제로 나오는 속도를 잽니다.
- 집 PC에서 로컬 AI 돌리기: 메모리로 모델 크기 고르고 속도 재 보기
Ollama로 내 PC에서 AI 모델을 돌릴 때 가장 먼저 부딪히는 질문, 어떤 크기의 모델이 내 컴퓨터에 맞는지를 다룹니다. 모델 파일 크기와 메모리의 관계를 계산하고, 2.4B 모델과 31B 모델을 같은 PC에서 돌려 초당 토큰 수를 직접 비교합니다.
- 한국어로 물어 본 로컬 모델 4종 비교: 2.4B, 3B, 27B, 31B
같은 PC에서 exaone3.5 2.4B, qwen2.5 3B, qwen3.8 27B, gemma4 31B에 한국어 질문 다섯 개를 보내 속도와 답을 비교합니다. 작은 모델이 틀린 곳과 큰 모델이 느린 만큼 얻는 것을 실제 답으로 확인합니다.
- llama.cpp와 GGUF 파일로 내 PC 속도 재기: llama-bench로 1B와 7B 비교
Ollama 없이 llama.cpp의 llama-bench로 GGUF 모델을 직접 재 봅니다. 내장 그래픽의 Vulkan으로 1B와 7B 모델의 입력 읽기 속도와 생성 속도를 3회 평균으로 비교하고, 파일 크기에서 양자화 비트 수를 계산하는 전체 스크립트를 실행합니다.
- llama.cpp -ngl로 그래픽 가속 켜고 끄기: 1B와 7B 속도 차이와 중간 값 측정
llama-bench의 -ngl 값을 99와 0으로 바꿔 1B와 7B 모델을 재고, 7B는 28층 중 0, 7, 14, 21, 28층만 올린 중간 값도 잽니다. 생성 속도는 2.6배에서 3.2배, 입력 읽기는 2.2배에서 3.1배 차이가 났고, 처음 측정값이 반복 측정에서 재현되지 않은 부분도 정정합니다.
2. Ollama 설정값
메모리와 처리량을 좌우하는 설정값을 하나씩 바꿔 가며 측정합니다.
- Ollama keep_alive: 모델을 메모리에 얼마나 올려 둘지 정하기
Ollama는 모델을 한 번 쓰면 일정 시간 메모리에 남겨 둡니다. keep_alive를 0, 20초, 무기한으로 바꿔 가며 ollama ps의 UNTIL 열과 다음 호출의 불러오는 시간이 어떻게 달라지는지 직접 확인합니다.
- Ollama num_ctx를 키우면 메모리는 얼마나 늘까: 2K, 8K, 32K 측정
같은 2.4B 모델을 컨텍스트 길이 2048, 8192, 32768로 올려 보고 ollama ps의 메모리 사용량, 불러오는 시간, 생성 속도를 비교합니다. 긴 문서를 다루려고 num_ctx를 키울 때 치르는 비용을 숫자로 봅니다.
- Ollama에 동시에 질문 여러 개 보내면: 1, 2, 4, 8개 요청 처리량 재기
같은 모델에 요청을 1개, 2개, 4개, 8개 동시에 보내 전체 처리 시간과 요청당 속도를 잽니다. 이 PC에서는 요청당 생성 속도가 거의 그대로이고 대기 시간만 늘어, 요청이 줄을 서서 처리되는 것으로 추정합니다.
- Ollama Modelfile로 말투와 길이가 고정된 나만의 도우미 모델 만들기
Modelfile에 시스템 프롬프트와 파라미터를 적어 ollama create로 새 모델을 만들고, 같은 질문에 원본 모델과 얼마나 다르게 답하는지 토큰 수로 비교합니다. 파일 하나로 사내 도우미의 말투와 답변 길이를 고정하는 방법입니다.
3. API로 부르기
프로그램에서 모델을 부르고, 출력 형식을 고정합니다.
- 파이썬에서 로컬 Ollama API 호출하기: 응답 받기, JSON 형식 고정, 스트리밍
requests만으로 내 PC의 Ollama를 호출합니다. 한 번에 받기, 옵션 넘기기, JSON 스키마로 출력 형식 고정하기, 글자가 나오는 대로 받는 스트리밍을 실행해 결과를 확인합니다. 한글이 깨지는 Windows 함정도 함께 정리합니다.
- llama-server로 내 PC에 OpenAI 호환 API 열기
llama.cpp의 llama-server에 GGUF 모델을 올려 OpenAI와 같은 형식의 /v1/chat/completions 주소를 만듭니다. 127.0.0.1에만 열고, requests와 openai 파이썬 라이브러리로 호출해 한 번에 받기와 스트리밍을 확인합니다.
- 작은 모델의 출력 형식을 고정하기: llama-server의 JSON 스키마와 GBNF 문법
프롬프트로 JSON을 부탁하면 1B 모델은 열두 번 중 열 번만 읽히고 한 번도 스키마에 맞지 않았습니다. llama-server의 json_schema와 GBNF 문법으로 출력을 제한하면 어떻게 달라지는지, 형식은 지켜져도 내용의 정확도는 그대로인 점까지 모델 두 개로 비교합니다.
4. 문서 검색과 도구 호출
모델에 내 문서와 함수를 연결해 실제 업무에 가까운 구성을 만듭니다.
- Ollama 임베딩으로 한국어 문장 유사도 재기: 잘 되는 곳과 약한 곳
nomic-embed-text로 한국어 문장 7개를 768차원 벡터로 바꾸고 코사인 유사도를 계산합니다. 같은 뜻의 문장은 잘 묶이지만 점수가 좁은 범위에 몰리고, 관련 없는 문장도 높게 나오는 약점까지 숫자로 확인합니다.
- Ollama와 로컬 RAG로 PDF에 묻고 답하기
외부 서비스 없이 내 PC에서 PDF 문서에 질문하는 최소 RAG를 파이썬으로 만듭니다. pypdf 추출, 조각 나누기, Ollama 임베딩과 코사인 유사도 검색, 근거 표시, 근거 없는 질문 처리, 문서 속 지시문 실험까지 숫자로 확인합니다.
- Ollama tool calling 파이썬 구현: 도구 호출, 인자 검증, 주입 지시 막기
로컬 모델이 함수를 고르고 인자를 채우게 하는 도구 호출(tool calling)을 파이썬으로 구현하고, 모델 세 개를 질문 일곱 개로 비교합니다. 이름이 빠진 질문, 도구 결과 안의 프롬프트 주입, 허용 목록과 인자 검증, 값을 걸러 막는 방어까지 실행해 확인합니다.
5. 화면과 다른 도구에 연결하기
채팅 화면, 에이전트, 로그 분석 도구에 로컬 모델을 붙입니다.
- Open WebUI Ollama 연결: host.docker.internal:11434 고치기
Docker로 Open WebUI를 띄워 호스트의 Ollama에 연결하고, 주소를 localhost로 잘못 넣어 모델 목록이 비는 상태를 만든 뒤 원인을 찾아 고칩니다. 환경 변수를 바로잡아도 저장된 설정이 우선해 되돌아오지 않는 동작도 직접 확인합니다.
- 로컬 Ollama 모델을 Hermes Agent에 연결하기
호스트의 Ollama 모델을 hermes model의 사용자 지정 엔드포인트로 연결하고, 컨텍스트가 32K인 작은 모델이 왜 실패하는지 로그로 확인한 뒤, 64K 컨텍스트 Modelfile로 만든 27B 모델에서 도구 호출까지 되는 것을 확인합니다.
- Docker로 OpenSearch와 Ollama 띄워 비용 없는 AI-SIEM 만들기
OpenSearch와 로컬 LLM인 Ollama를 Docker로 띄우고, ml-commons 커넥터로 둘을 연결합니다. 로그에서 찾은 브루트포스 경보를 LLM이 세 줄로 분류하는 데까지 확인합니다.
6. 보안 점검
로컬 모델 서버도 열어 두면 누구나 쓸 수 있습니다. 노출 범위와 입력을 점검합니다.
- Ollama를 0.0.0.0으로 열면 생기는 일: 인증 없는 로컬 AI 서버 점검
기본 설치의 Ollama는 127.0.0.1에만 열립니다. 별도 임시 인스턴스를 OLLAMA_HOST=0.0.0.0으로 띄워 같은 PC의 네트워크 주소로 접속해 보고, 로그인 없이 모델 목록이 보이는 것을 확인한 뒤 되돌립니다.
- Ollama 로컬 LLM에 입력 가드레일 붙이기
사용자 입력이 로컬 LLM에 닿기 전에 규칙 필터와 판정 모델 두 개를 거치게 하는 파이썬 스크립트를 만듭니다. 원문 대신 해시와 길이만 JSONL로 남기고, Ollama 장애 때 차단하는 방식을 확인하며, 철자 변형과 다른 언어로 우회되는 사례와 판정 모델의 오탐과 미탐을 실제 결과로 확인합니다.
이 내용을 팀 교육으로 진행하고 싶으신가요?
인원, 수준, 일정에 맞춰 실습 환경까지 준비해 진행합니다. 대상과 기간을 알려 주시면 구성을 제안해 드립니다.
교육 문의하기메일로 보내실 수도 있습니다: fankh111@gmail.com