Copy & Run

URLhaus IOC 피드와 nginx 로그 대조하기

공개 IOC 피드를 로그와 대조하는 방법을 다룹니다. abuse.ch URLhaus의 이용 조건(인증키, 내려받기 간격)을 문서로 확인하고, 시험용 nginx 로그를 가짜 IOC 목록과 대조해 일치와 오탐을 가려내는 스크립트를 만듭니다. 키 없이 받을 수 있는 Feodo Tracker 피드로 실제 목록 대조와 갱신 시각 점검도 해 보며, URLhaus 피드 본문은 인증키가 없어 받지 않았습니다.

실습 노트 · 2026-11-02 발행 · 18분 · 2026-11 확인

공개 IOC 피드는 악성으로 알려진 주소 목록이고, 웹 서버 access 로그에서 그 주소가 보이는지 찾는 일이 가장 단순한 활용입니다. 이 글에서는 피드를 내려받아 캐시하고, 목록을 정규화하고, 로그와 대조한 뒤 오탐을 줄이는 과정을 직접 만든 로그로 확인합니다.

Windows Git Bash에서 Docker Desktop으로 실행했습니다. 피드에 적힌 악성 주소에는 접속하지 않고 목록 텍스트만 읽습니다. 일치 시험은 example 계열 이름과 사설 IP로 직접 만든 가짜 IOC로 하고, 실제 피드는 대조 결과와 갱신 시각 확인에만 씁니다. 로그의 Referer와 X-Forwarded-For는 직접 써 넣은 값이며 시험용 서버 밖으로 나가지 않습니다.

준비물

항목 확인한 값
실행 환경 Docker 29.5.3, Windows 11의 Git Bash
nginx nginx:1.27-alpine 이미지 위에 설정 파일 하나 추가
Python 3.12.10 (표준 라이브러리만 사용)
대조 대상 피드 abuse.ch Feodo Tracker IP 블록리스트(키 없이 받을 수 있음)

작업 폴더는 아래 여섯 파일입니다. 전체 내용은 글 끝의 ## 전체 코드에 있습니다.

Dockerfile
nginx.conf
make_logs.sh
fake_iocs.txt
allowlist.txt
ioc_match.py

1. 먼저 확인한 이용 조건

URLhaus API 문서(https://urlhaus.abuse.ch/api/)와 abuse.ch 이용 약관(https://abuse.ch/terms-of-use/)을 읽고 정리한 내용입니다.

질문 확인한 내용
인증키가 필요한가 문서가 Auth-Key를 먼저 발급받으라고 안내합니다. 파일 내려받기는 주소에 키를 넣는 형태(.../v2/files/exports/<키>/recent.csv)로 적혀 있고, 그 밖의 API 호출에서 키를 어떻게 보내는지는 확인하지 못했습니다.
비용 공정 사용 원칙 아래 무료로 제공합니다. 영리 목적 이용에는 유료 구독이 필요할 수 있다고 약관에 적혀 있습니다.
내려받기 간격 URLhaus 데이터 덤프는 5분마다 생성되고 5분보다 자주 받지 말라고 URLhaus API 문서(urlhaus.abuse.ch/api)가 안내합니다. 다른 피드의 간격은 각 제공처 안내를 따로 확인해야 합니다.
제한 약관에 스크립트로 대량 수집하는 일, 데이터로 AI 모델을 학습하는 일을 허가 없이 하지 말라는 항목이 있습니다.

오래된 글에 나오는 https://urlhaus.abuse.ch/downloads/text/ 같은 키 없는 주소는 지금 어떻게 응답하는지 직접 확인했습니다. 이 주소는 410을 돌려주고, 키 없이 API를 부르면 401이 돌아옵니다. 반대로 Feodo Tracker 목록은 키 없이 200으로 내려받아집니다.

curl -s -o /dev/null -w "%{http_code}\n" https://urlhaus.abuse.ch/downloads/text/
curl -s -w "\n%{http_code}\n" https://urlhaus-api.abuse.ch/v1/urls/recent/
curl -s -o /dev/null -w "%{http_code}\n" https://feodotracker.abuse.ch/downloads/ipblocklist.txt
curl -s https://feodotracker.abuse.ch/downloads/ipblocklist.txt | head -8

예전 URLhaus 내려받기 주소는 410, 키 없는 API 호출은 401을 돌려주고, Feodo Tracker 목록은 200으로 받아지며 머리말에 마지막 갱신 시각이 적혀 있는 것을 확인합니다.
예전 URLhaus 내려받기 주소는 410, 키 없는 API 호출은 401을 돌려주고, Feodo Tracker 목록은 200으로 받아지며 머리말에 마지막 갱신 시각이 적혀 있는 것을 확인합니다.

URLhaus 인증키를 만들지 않았으므로 URLhaus 피드 본문은 받지 못했습니다. 이 글에서 URLhaus는 이용 조건 확인까지만 다루고, 대조 실습은 가짜 IOC와 Feodo Tracker 피드로 했습니다. 스크립트는 한 줄에 URL, 도메인, IP 하나가 있는 텍스트 목록과 # 주석을 읽도록 만들었고, URLhaus의 CSV와 JSON 형식은 다루지 않았습니다. 키가 주소에 들어갈 수 있으므로 스크립트는 피드 주소 대신 호스트 이름만 출력합니다.

2. 시험용 nginx와 access 로그 만들기

nginx.conf는 로그 형식에 Host와 X-Forwarded-For를 넣습니다. 컨테이너 앞에 프록시가 없으면 $remote_addr가 모든 요청에서 같은 게이트웨이 주소가 되기 때문에, 이 시험에서는 --trust-xff 옵션을 줘서 curl -H로 쓴 X-Forwarded-For를 클라이언트 IP로 취급합니다. 이 옵션은 기본으로 꺼져 있고, 요청하는 쪽이 헤더를 마음대로 쓸 수 있으므로 신뢰하는 프록시가 붙인 값이 있는 로그에서만 켜야 합니다.

make_logs.sh는 컨테이너를 127.0.0.1:18272에만 연결하고 요청 10번을 보냅니다. 요청마다 의도가 있습니다. 3, 4번은 목록의 도메인과 그 하위 도메인, 5번은 이름이 비슷한 다른 도메인, 6번은 목록의 IP, 7번은 문자열만 겹치는 다른 IP, 8, 9번은 같은 호스트의 다른 경로, 10번은 허용 목록에 넣을 도메인입니다.

export PYTHONUTF8=1
sh make_logs.sh
docker ps --filter name=cr-fx-web --format "table {{.Names}}\t{{.Image}}\t{{.Ports}}"
wc -l access.log
head -3 access.log | cut -c1-140

cr-fx-web 컨테이너가 127.0.0.1:18272에만 연결되어 있고 access.log에 10줄이 쌓였으며 각 줄에 Referer와 xff 값이 보이는 것을 확인합니다.
cr-fx-web 컨테이너가 127.0.0.1:18272에만 연결되어 있고 access.log에 10줄이 쌓였으며 각 줄에 Referer와 xff 값이 보이는 것을 확인합니다.

이 단계의 파일 내려받기:Dockerfilemake_logs.shnginx.conf

3. 정규화와 대조 규칙

ioc_match.py는 목록 한 줄을 ip, domain, url 중 하나로 바꿉니다. hxxp://와 [.]로 무해화한 표기도 되돌려 읽고, 출력할 때는 다시 무해화해서 터미널과 이미지에 클릭 가능한 주소가 남지 않게 합니다. 대조는 세 가지 규칙으로 합니다.

  • IP: 클라이언트 IP 목록($remote_addr와 X-Forwarded-For)의 항목과 전체가 같을 때만 일치로 봅니다.
  • 도메인: Referer와 Host의 호스트 이름이 IOC와 같거나 .IOC로 끝날 때만 일치로 봅니다. 하위 도메인은 잡고, 앞에 글자가 붙은 다른 도메인은 거릅니다.
  • URL: 호스트가 일치하고 경로가 IOC 경로로 시작하면 경보입니다. 호스트만 같고 경로가 다르면 "확인 필요"로 낮춥니다. 한 호스트에 정상 파일과 악성 파일이 함께 있는 파일 공유 서비스 같은 경우를 구분하려는 것입니다.

허용 목록에 있는 도메인은 일치해도 경보에서 빼고, 몇 건을 뺐는지 결과 줄에 셉니다.

python ioc_match.py --feed-file fake_iocs.txt --log access.log --allow allowlist.txt --trust-xff

3, 4번 줄은 도메인, 6번 줄은 IP, 8번 줄은 URL이 경보로 나오고 9번 줄은 호스트만 같아 확인 필요로 나오며 허용 목록으로 1건이 제외된 것을 확인합니다.
3, 4번 줄은 도메인, 6번 줄은 IP, 8번 줄은 URL이 경보로 나오고 9번 줄은 호스트만 같아 확인 필요로 나오며 허용 목록으로 1건이 제외된 것을 확인합니다.

이 단계의 파일 내려받기:allowlist.txtfake_iocs.txtioc_match.py

4. 오탐: 문자열 포함 검사와 비교

같은 목록을 로그 줄에 문자열이 들어 있는지만 보는 방식(--naive)으로 돌려 봅니다.

python ioc_match.py --feed-file fake_iocs.txt --log access.log --naive --trust-xff

문자열 포함 검사는 앞의 규칙이 걸러 낸 5번 줄(비슷한 도메인), 7번 줄(10.20.0.70), 9번 줄(다른 경로), 10번 줄(허용 도메인)까지 더해 8건을 경보로 만드는 것을 확인합니다.
문자열 포함 검사는 앞의 규칙이 걸러 낸 5번 줄(비슷한 도메인), 7번 줄(10.20.0.70), 9번 줄(다른 경로), 10번 줄(허용 도메인)까지 더해 8건을 경보로 만드는 것을 확인합니다.

경보가 4건에서 8건으로 늘었고 늘어난 4건은 모두 오탐입니다. 오탐을 줄이는 방법은 다음과 같습니다.

오탐 원인 시험에서 본 예 줄이는 방법
도메인 경계 notevil.example.net 같거나 . 뒤에 붙은 이름만 일치로 봄
IP 문자열 겹침 10.20.0.70과 10.20.0.7 줄 전체가 아니라 IP 항목 단위로 비교
같은 호스트의 다른 경로 /u/999/logo.png URL IOC는 경로까지 보고 호스트만 같으면 확인 필요
정상 서비스가 목록에 포함 cdn.example.com 허용 목록, 허용 사유와 날짜를 기록해 주기적으로 재검토

일치가 곧 감염을 뜻하지는 않습니다. 이 시험에서 Referer가 일치한 요청은 방문자가 해당 사이트에서 넘어왔다는 단서입니다. 해당 IP의 이후 요청과 서버 쪽 변화를 함께 확인해야 합니다.

이 단계의 파일 내려받기:fake_iocs.txtioc_match.py

5. 실제 피드와 대조, 갱신 주기와 캐시

같은 스크립트에 Feodo Tracker 피드 주소를 --feed-url로 주고 시험 로그와 대조합니다. 같은 명령을 두 번 연속 실행하면 첫 실행은 내려받고 두 번째는 5분 안이라서 캐시를 씁니다. 5분은 URLhaus 문서가 안내한 덤프 간격을 기본값으로 삼은 것이며 Feodo Tracker 자체의 안내는 아닙니다. 캐시가 5분보다 오래되면 If-Modified-Since를 붙여 요청하는 코드가 들어 있으나, 304 응답 경로는 이 글에서 시험하지 않았습니다.

rm -f feed_cache.txt; python ioc_match.py --feed-url https://feodotracker.abuse.ch/downloads/ipblocklist.txt --cache feed_cache.txt --log access.log --trust-xff
python ioc_match.py --feed-url https://feodotracker.abuse.ch/downloads/ipblocklist.txt --cache feed_cache.txt --log access.log --trust-xff
head -8 feed_cache.txt

실제 피드에서 IOC 5건을 읽어 10줄 로그와 대조해 경보 0건이 나오고, 마지막 갱신이 242일 전이라는 경고와 두 번째 실행의 캐시 사용 메시지를 확인합니다.
실제 피드에서 IOC 5건을 읽어 10줄 로그와 대조해 경보 0건이 나오고, 마지막 갱신이 242일 전이라는 경고와 두 번째 실행의 캐시 사용 메시지를 확인합니다.

일치는 0건입니다. 시험 로그의 IP가 모두 사설 대역이니 당연한 결과이고, 이 결과가 "안전하다"는 뜻은 아닙니다. 더 눈여겨볼 점은 피드 머리말의 Last updated(2026-03-04)가 이 글을 쓴 2026년 11월 초 기준으로 242일 전이라는 것입니다. 일수는 실행 시점에 따라 달라집니다. 스크립트는 기본 24시간을 넘으면 경고합니다. 피드가 멈춘 상태인데 대조 결과만 0건이면 점검한 것처럼 보이기 때문에, 갱신 시각 확인을 대조와 함께 둡니다. Feodo Tracker 안내 페이지에는 데이터셋이 현재 비어 있다는 문구가 있었으나, 내려받은 파일에는 IP가 5개 있었습니다. 피드에 실린 IP는 이 글에 적지 않았습니다.

이 단계의 파일 내려받기:ioc_match.py

결과 정리

  • URLhaus는 인증키 발급을 안내하고 덤프를 5분보다 자주 받지 않도록 안내하므로, 스크립트에 최소 간격과 조건부 요청을 넣었습니다.
  • 대조는 문자열 포함이 아니라 IP 단위, 도메인 경계, URL 경로 기준으로 합니다.
  • 오탐은 허용 목록과 "확인 필요" 단계로 낮추고, 일치만으로 감염이라고 판단하지 않습니다.
  • 피드의 갱신 시각을 함께 확인하고, 오래되었으면 대조 결과를 신뢰하지 않습니다.

전체 코드

작업 폴더 구조는 아래와 같습니다.

Dockerfile
nginx.conf
make_logs.sh
fake_iocs.txt
allowlist.txt
ioc_match.py

Dockerfile

FROM nginx:1.27-alpine
COPY nginx.conf /etc/nginx/conf.d/default.conf

nginx.conf

log_format lab '$remote_addr [$time_iso8601] "$request" $status "$http_referer" "$http_user_agent" xff="$http_x_forwarded_for" host="$host"';

server {
    listen 80;
    access_log /var/log/nginx/lab_access.log lab;
    location / {
        root /usr/share/nginx/html;
        index index.html;
    }
}

make_logs.sh

#!/bin/sh
# 시험용 nginx 를 띄우고 요청 10번으로 access 로그를 만든 뒤 access.log 로 복사합니다.
# Referer 와 X-Forwarded-For 는 직접 써 넣은 가짜 값이며 어디에도 접속하지 않습니다.
docker build -q -t cr-fx-nginx:latest . >/dev/null && echo built
docker rm -f cr-fx-web >/dev/null 2>&1
docker run -d --name cr-fx-web -p 127.0.0.1:18272:80 cr-fx-nginx:latest >/dev/null
sleep 2

req() {  # req <xff> <referer> <경로>
  curl -s -o /dev/null -A lab-test/1.0 -H "X-Forwarded-For: $1" -e "$2" "http://127.0.0.1:18272$3"
}
req 10.20.0.5 ""                                          /
req 10.20.0.5 "http://www.example.com/"                   /index.html
req 10.20.0.6 "http://evil.example.net/landing"           /
req 10.20.0.6 "http://cdn.evil.example.net/x"             /
req 10.20.0.8 "http://notevil.example.net/"               /
req 10.20.0.7 ""                                          /
req 10.20.0.70 ""                                         /
req 10.20.0.9 "http://files.example.org/u/111/setup.exe"  /
req 10.20.0.9 "http://files.example.org/u/999/logo.png"   /
req 10.20.0.4 "http://cdn.example.com/lib.js"             /

MSYS_NO_PATHCONV=1 docker exec cr-fx-web cat /var/log/nginx/lab_access.log > access.log
wc -l access.log

fake_iocs.txt

# 시험용 가짜 IOC 목록입니다. example 계열 이름과 사설 IP만 씁니다.
evil.example.net
10.20.0.7
hxxp://files.example.org/u/111/setup.exe
cdn.example.com

allowlist.txt

# 허용 목록: 이 도메인과 하위 도메인은 IOC 와 일치해도 경보에서 뺍니다.
cdn.example.com

ioc_match.py

"""공개 IOC 피드(텍스트 목록)를 내려받아 nginx access 로그와 대조합니다.

사용법:
  python ioc_match.py --feed-file fake_iocs.txt --log access.log --allow allowlist.txt --trust-xff
  python ioc_match.py --feed-url "<피드 주소>" --cache feed_cache.txt --log access.log
  python ioc_match.py --feed-file fake_iocs.txt --log access.log --naive --trust-xff   (문자열 포함 검사, 비교용)

피드 주소에 인증 키가 들어갈 수 있으므로 주소는 출력하지 않고 호스트 이름만 보여 줍니다.
--trust-xff 는 X-Forwarded-For 값을 클라이언트 IP 로 취급하는 시험용 옵션이며 기본은 꺼져 있습니다.
이 값은 요청한 쪽이 마음대로 쓸 수 있으므로, 신뢰하는 프록시 뒤에서 남긴 로그에만 켭니다.
"""
import argparse
import ipaddress
import os
import re
import sys
import time
import urllib.error
import urllib.request
from datetime import datetime, timezone
from urllib.parse import urlsplit

MIN_INTERVAL = 300  # URLhaus API 문서가 안내한 덤프 최소 내려받기 간격(초)
LOG_LINE = re.compile(
    r'^(\S+) \[([^\]]+)\] "(\S+) (\S+) [^"]*" (\d+) "([^"]*)" "([^"]*)" xff="([^"]*)" host="([^"]*)"$'
)
UPDATED = re.compile(r"Last updated:\s*(\d{4}-\d\d-\d\d \d\d:\d\d:\d\d)")


def fetch_feed(url, cache, min_interval=MIN_INTERVAL):
    """캐시가 충분히 새것이면 그대로 쓰고, 아니면 조건부 요청으로 내려받습니다."""
    host = urlsplit(url).hostname
    if os.path.exists(cache) and time.time() - os.path.getmtime(cache) < min_interval:
        print(f"[피드] {host}: 캐시 사용({min_interval}초 안에 받은 파일)")
        return open(cache, encoding="utf-8").read()
    req = urllib.request.Request(url, headers={"User-Agent": "ioc-match-lab/1.0"})
    if os.path.exists(cache):
        stamp = time.strftime("%a, %d %b %Y %H:%M:%S GMT", time.gmtime(os.path.getmtime(cache)))
        req.add_header("If-Modified-Since", stamp)
    try:
        with urllib.request.urlopen(req, timeout=30) as r:
            data = r.read().decode("utf-8", errors="replace")
        tmp = cache + ".tmp"
        with open(tmp, "w", encoding="utf-8", newline="\n") as f:
            f.write(data)
        os.replace(tmp, cache)
        print(f"[피드] {host}: 새로 받음({len(data)}글자)")
        return data
    except urllib.error.HTTPError as e:
        if e.code == 304 and os.path.exists(cache):
            os.utime(cache)
            print(f"[피드] {host}: 변경 없음(304), 캐시 사용")
            return open(cache, encoding="utf-8").read()
        raise SystemExit(f"[피드] {host}: HTTP {e.code} 로 받지 못했습니다")


def defang(s):
    return s.replace("http", "hxxp", 1).replace(".", "[.]")


def normalize(line):
    """한 줄을 (종류, 호스트, 경로)로 바꿉니다. 종류는 ip, domain, url 중 하나입니다."""
    s = line.strip()
    if not s or s.startswith("#"):
        return None
    if s.lower().startswith("hxxp"):
        s = "http" + s[4:]
    s = s.replace("[.]", ".")
    if "://" in s:
        p = urlsplit(s)
        host, path = (p.hostname or "").lower(), p.path or "/"
    elif "/" in s:
        host, _, rest = s.partition("/")
        host, path = host.lower(), "/" + rest
    else:
        host, path = s.lower(), ""
    if not host:
        return None
    try:
        ipaddress.ip_address(host)
        return ("ip" if not path else "url", host, path)
    except ValueError:
        pass
    return ("url" if path and path != "/" else "domain", host, path)


def load_iocs(text):
    seen, out = set(), []
    for line in text.splitlines():
        n = normalize(line)
        if n and n not in seen:
            seen.add(n)
            out.append(n)
    return out


def feed_age_hours(text):
    m = UPDATED.search(text)
    if not m:
        return None
    t = datetime.strptime(m.group(1), "%Y-%m-%d %H:%M:%S").replace(tzinfo=timezone.utc)
    return (datetime.now(timezone.utc) - t).total_seconds() / 3600


def parse_log(path, trust_xff=False):
    for no, raw in enumerate(open(path, encoding="utf-8", errors="replace"), 1):
        m = LOG_LINE.match(raw.rstrip("\n"))
        if not m:
            continue
        addr, ts, method, uri, status, ref, ua, xff, host = m.groups()
        clients = [addr]
        if trust_xff:  # 시험용: 요청 헤더에 쓴 값이므로 신뢰하는 프록시가 붙인 경우에만 켭니다
            clients += [x.strip() for x in xff.split(",") if x.strip() and x.strip() != "-"]
        rp = urlsplit(ref) if ref not in ("", "-") else None
        yield {"no": no, "ts": ts, "uri": uri, "status": status, "raw": raw.rstrip("\n"),
               "clients": clients, "host": host.lower(),
               "ref_host": (rp.hostname or "").lower() if rp else "",
               "ref_path": (rp.path or "/") if rp else ""}


def host_match(obs, ioc_host):
    """도메인 경계를 지킵니다. evil.example.net 은 a.evil.example.net 과 일치하지만 notevil.example.net 과는 아닙니다."""
    return obs == ioc_host or obs.endswith("." + ioc_host)


def allowed(host, allow):
    return any(host_match(host, a) for a in allow)


def match(rec, iocs, allow):
    hits, skipped = [], []
    for kind, h, path in iocs:
        if kind == "ip":
            if h in rec["clients"]:
                hits.append(("경보", kind, h, "클라이언트 IP 일치"))
            continue
        for label, obs, obs_path in (("Referer", rec["ref_host"], rec["ref_path"]), ("Host", rec["host"], rec["uri"])):
            if not obs or not host_match(obs, h):
                continue
            if allowed(obs, allow):
                skipped.append((h, label))
            elif kind == "url" and not obs_path.startswith(path):
                hits.append(("확인", kind, h + path, f"{label} 호스트만 일치(경로 다름)"))
            else:
                hits.append(("경보", kind, h + path, f"{label} 일치"))
    return hits, skipped


def naive(rec, iocs):
    return [h for _, h, _ in iocs if h in rec["raw"]]


def main():
    ap = argparse.ArgumentParser()
    ap.add_argument("--feed-url")
    ap.add_argument("--feed-file")
    ap.add_argument("--cache", default="feed_cache.txt")
    ap.add_argument("--log", required=True)
    ap.add_argument("--allow")
    ap.add_argument("--max-age-hours", type=float, default=24)
    ap.add_argument("--naive", action="store_true")
    ap.add_argument("--trust-xff", action="store_true",
                    help="X-Forwarded-For 를 클라이언트 IP 로 취급합니다(기본 끔, 시험용)")
    a = ap.parse_args()

    if a.feed_url:
        text = fetch_feed(a.feed_url, a.cache)
    elif a.feed_file:
        text = open(a.feed_file, encoding="utf-8").read()
    else:
        sys.exit("--feed-url 또는 --feed-file 이 필요합니다")
    iocs = load_iocs(text)
    allow = []
    if a.allow:
        allow = [n[1] for n in map(normalize, open(a.allow, encoding="utf-8")) if n]
    age = feed_age_hours(text)
    kinds = {k: sum(1 for i in iocs if i[0] == k) for k in ("ip", "domain", "url")}
    print(f"[피드] IOC {len(iocs)}건 (ip {kinds['ip']}, domain {kinds['domain']}, url {kinds['url']}), 허용 목록 {len(allow)}건")
    if age is None:
        print("[피드] 갱신 시각 표시 없음")
    elif age > a.max_age_hours:
        print(f"[피드] 경고: 마지막 갱신이 {age / 24:.0f}일 전입니다. 오래된 목록으로는 최근 위협을 놓칩니다")
    else:
        print(f"[피드] 마지막 갱신 {age:.1f}시간 전")

    total = alerts = checks = skipped_n = 0
    for rec in parse_log(a.log, a.trust_xff):
        total += 1
        if a.naive:
            found = naive(rec, iocs)
            if found:
                alerts += 1
                print(f"줄 {rec['no']:>2} 포함 {rec['clients'][-1]:<11} IOC {','.join(defang(x) for x in found)}")
            continue
        hits, skipped = match(rec, iocs, allow)
        skipped_n += len(skipped)
        for level, kind, value, why in hits:
            alerts += level == "경보"
            checks += level == "확인"
            shown = value if kind == "ip" else defang(value)
            print(f"줄 {rec['no']:>2} {level} {rec['clients'][-1]:<11} {kind:<6} {shown:<30} {why}")
    print(f"[결과] 로그 {total}줄, 경보 {alerts}건, 확인 필요 {checks}건, 허용 목록으로 제외 {skipped_n}건")
    sys.exit(1 if alerts else 0)


if __name__ == "__main__":
    main()

자주 막히는 곳

  • URLhaus 예전 주소가 410 Gone을 돌려줍니다. 오래된 글의 downloads/text/, downloads/csv_online/, downloads/csv_recent/ 주소는 모두 410이었습니다. API 문서가 안내하는 방식으로 인증키를 발급받아 써야 합니다.
  • 모든 요청의 클라이언트 IP가 같습니다. Docker Desktop은 호스트에서 들어온 요청을 게이트웨이 주소(172.17.0.1)로 보여 줍니다. 그래서 시험은 X-Forwarded-For를 쓰고 --trust-xff를 줬습니다. 옵션 없이 실행하면 같은 도메인과 URL은 잡히지만 10.20.0.7 IP 일치(6번 줄)는 잡히지 않고 클라이언트가 모두 172.17.0.1로 나옵니다.
  • docker exec ... cat /var/log/...가 C:/Program Files/Git/var/log/...로 바뀌어 실패합니다. Git Bash가 /로 시작하는 인자를 Windows 경로로 바꾸기 때문입니다. 처음 시도에서는 access.log가 0줄로 만들어졌고, make_logs.sh는 MSYS_NO_PATHCONV=1을 앞에 붙여 실행해 해결했습니다.
  • 한글 출력에서 파이썬이 인코딩 오류를 낼 수 있습니다. Windows 콘솔 인코딩 때문이며 PYTHONUTF8=1을 주면 해결됩니다. 이 글의 실행은 모두 그 값을 준 상태였습니다.
이 단계의 파일 내려받기:make_logs.sh

이어서 해 볼 것

  • URLhaus 인증키를 발급받아 실제 목록을 받아 보고, 목록 형식에 맞게 normalize()를 확장합니다.
  • 로그 형식에 $request_uri가 이미 있으므로 요청 경로를 URL IOC와 대조하는 기능도 추가합니다.
  • 허용 목록에 사유와 만료일을 붙이고 만료되면 경고하도록 바꿉니다.

확인 범위

  • 확인한 것: 위의 명령과 출력은 Windows Git Bash, Docker 컨테이너, 로컬 Python에서 실제로 실행한 결과입니다. 이용 조건은 https://urlhaus.abuse.ch/api/, https://abuse.ch/terms-of-use/, https://feodotracker.abuse.ch/blocklist/에서 확인했습니다. 약관 페이지에는 시행일보다 뒤의 최종 수정일이 적혀 있었습니다.
  • 하지 못한 것: URLhaus 인증키가 없어 URLhaus 피드 본문과 CSV, JSON 형식은 받아 보지 못했습니다. 키 사용 방식은 문서 내용만 확인했으며, 파일 내려받기 외의 API 호출에서 키를 어떻게 보내는지는 확인하지 못했습니다. 304 응답 경로와 Linux, macOS 셸은 실행하지 않았습니다.
  • 범위의 한계: 로그는 직접 만든 10줄이며 nginx 로그 형식은 이 글의 log_format에 맞춰져 있습니다. 가짜 IOC 일치는 스크립트 동작 확인이지 실제 위협 탐지 성능이 아닙니다. 상업적 이용 여부는 abuse.ch 약관을 직접 확인해야 합니다.

이 글은 스타트업·소규모 조직 보안 구축 로드맵의 한 단계입니다.

이 글의 다음 단계

  • MISP IOC 모으고 STIX 2.1로 내보내기: PyMISP공식 misp-docker 구성으로 MISP를 띄우고 시험용 IOC 8건(example.com 도메인, 문서용 IP, 직접 만든 해시)을 CSV에서 PyMISP로 이벤트 하나에 넣습니다. 이벤트, 속성, 태그가 어떻게 묶이는지 웹 화면으로 보고, REST API로 JSON, CSV, STIX 2.1을 내려받아 indicator 패턴과 observed-data를 읽는 스크립트까지 돌려 봅니다.
  • ATT&CK Navigator로 Sigma 탐지 규칙 범위 그리기Sigma 규칙의 tags(attack.t1059.001 등)를 파이썬으로 읽어 기법별 규칙 개수를 세고, ATT&CK Navigator 레이어(JSON)로 저장해 로컬 Navigator 화면에서 열어 봅니다. 규칙이 없는 전술 칸과 이름이 바뀐 기법 ID를 찾아내는 방법, 그리고 규칙 개수가 탐지 품질을 뜻하지 않는다는 한계까지 다룹니다.

이 내용을 팀 교육으로 진행하고 싶으신가요?

인원, 수준, 일정에 맞춰 실습 환경까지 준비해 진행합니다. 대상과 기간을 알려 주시면 구성을 제안해 드립니다.

교육 문의하기

교육 진행 순서와 자주 묻는 질문 보기

팀이나 교육 담당자에게 이 글 제안하기

메일로 보내실 수도 있습니다: fankh111@gmail.com

같은 카테고리의 글