# Zeek으로 pcap 읽어 conn.log와 http.log 만들기: 스캔 흔적과 404 개수 게이트

> 내 PC의 웹 컨테이너 트래픽을 pcap으로 저장하고 Zeek 9.0.1로 읽어 JSON 로그를 만든 뒤, 정상 요청과 스캔 요청을 비교합니다. Zeek의 패킷 합계를 tcpdump 개수와 대조하고, 한 출발지의 404가 기준을 넘으면 종료 코드 1로 끝나는 게이트까지 만듭니다.

- 주소: https://copyandrun.com/blog/zeek-pcap-conn-http-logs/
- 분야: SIEM·보안관제
- 발행일: 2026-10-30
- 태그: Zeek, pcap, conn.log, http.log, 네트워크 탐지

앞의 [Suricata pcap 재생 글](/blog/suricata-pcap-replay-alerts/)은 규칙에 걸린 것만 alert로 보여 주었습니다. Zeek은 접근 방식이 다릅니다. 규칙에 걸렸는지와 상관없이 모든 연결과 HTTP 요청을 로그로 남기고, 나중에 그 로그에 질문을 던져 답을 찾게 해 줍니다. "어제 한 출발지가 존재하지 않는 주소를 몇 번 물었나" 같은 질문이 그런 예입니다. 이 글에서는 내 PC의 컨테이너끼리 만든 트래픽을 pcap으로 저장하고, Zeek이 만든 `conn.log`와 `http.log`를 읽어 정상 요청과 스캔 요청의 차이를 확인합니다. 그리고 Zeek이 센 숫자를 tcpdump로 센 숫자와 대조해 로그를 믿어도 되는지 확인합니다.

## 준비물

| 항목 | 확인한 값 |
|---|---|
| Docker | 29.5.3 (Windows 11, Git Bash에서 실행) |
| Zeek | 9.0.1 (`zeek/zeek` 이미지) |
| 웹 서버 | `nginx:alpine` (`/`, `/health`, `/login`은 200, 나머지는 404) |
| 트래픽 만들기 | `curlimages/curl` |
| pcap 저장과 대조 | `nicolaka/netshoot`의 `tcpdump` |
| 파이썬 | 3.12 (JSON 로그를 읽는 데만 사용) |

컨테이너는 전용 네트워크 `osk-fd-znet`에만 연결했고 포트는 바깥에 열지 않았습니다. 요청은 모두 내가 띄운 웹 컨테이너 하나로만 보냈습니다.

## 1. 순서

<!-- files: nginx_lab.conf -->

1. 웹 컨테이너를 띄우고, 같은 네트워크 공간을 쓰는 `tcpdump` 컨테이너로 pcap 저장을 시작합니다.
2. 클라이언트 컨테이너로 요청을 보냅니다. 정상이면 `clean.pcap`, 스캔 흉내이면 `scan.pcap`입니다.
3. Zeek을 `zeek -C -r 파일 LogAscii::use_json=T`로 실행합니다. `-r`은 파일을 읽는 옵션이고, 마지막 인자가 로그를 JSON으로 쓰게 합니다.
4. 만들어진 `conn.log`, `http.log`를 파이썬으로 요약하고, 같은 pcap을 tcpdump로 센 값과 대조합니다.
5. 한 출발지의 404가 기준(5건)을 넘으면 종료 코드 1로 끝냅니다.

`-C`는 체크섬 검사를 끄는 옵션입니다. 컨테이너 안에서 저장한 pcap은 체크섬 오프로드 때문에 체크섬이 틀리게 보이는 경우가 있어서 넣었고, 빼고 비교해 보지는 않았습니다.

## 2. 정상 pcap과 스캔 pcap

정상 pcap에는 `GET /`, `GET /health`, `GET /login` 세 요청만 넣었습니다. 스캔 pcap에는 존재하지 않는 주소 8개(`/admin`, `/.env`, `/backup.zip`, `/wp-login.php`, `/phpmyadmin`, `/config.php`, `/.git/config`, `/server-status`)를 User-Agent `sqlmap/1.7`로 요청하고, `/login`에 POST 한 번을 더했습니다. 실제 sqlmap을 쓴 것이 아니라 이름만 흉내 낸 값입니다.

## 3. 결과

```
## 2. 정상 pcap의 Zeek 로그
  연결 3개(TCP 3개, 그 밖 0개), TCP 패킷 합계 30개, HTTP 요청 3건
  pcap 의 TCP 패킷 수 30개 -> 일치
  응답 코드: 200 x3
  한 출발지의 404 최대 0건 (허용 5건)
  종료 코드 0
## 3. 스캔 pcap의 Zeek 로그
  연결 9개(TCP 9개, 그 밖 0개), TCP 패킷 합계 90개, HTTP 요청 9건
  pcap 의 TCP 패킷 수 90개 -> 일치
  응답 코드: 200 x1, 404 x8
  한 출발지의 404 최대 8건 (허용 5건)
  종료 코드 1
```

![zeek_demo.sh 실행 결과에서 정상 pcap은 연결 3개와 200 응답 3건에 종료 코드 0, 스캔 pcap은 연결 9개와 404 응답 8건에 종료 코드 1이고 Zeek의 TCP 패킷 합계가 tcpdump 개수와 일치하는 것을 확인합니다.](https://copyandrun.com/img/zeek-pcap-conn-http-logs/01-zeek-pcap-로그-요약.png)

- **요청 하나가 연결 하나였습니다.** curl이 요청마다 새 연결을 열어서, 요청 3건이 연결 3개, 요청 9건이 연결 9개로 로그에 남았습니다. 연결 하나는 양쪽 합쳐 패킷 10개였습니다.
- **Zeek의 합계와 tcpdump의 개수가 맞았습니다.** 정상 30개, 스캔 90개로 서로 같았으므로 Zeek이 패킷을 빠뜨리지 않고 읽었다고 볼 수 있습니다.
- **스캔의 흔적은 User-Agent와 404 개수였습니다.** 한 출발지가 같은 도구 이름으로 존재하지 않는 주소를 8번 물었습니다. 규칙을 쓰지 않았는데도 로그를 한 줄 집계하는 것만으로 드러났습니다.

## 4. 로그 한 줄 보기

`http.log`에는 방식, 주소, 응답 코드, User-Agent가 들어 있고, `conn.log`에는 연결 하나마다 시각, 출발지와 목적지, 보낸 바이트와 패킷 수, 연결 상태(`conn_state`)가 들어 있습니다. 아래 화면의 연결은 `SF`(정상 시작과 종료)였고 `history`는 `ShADadFf`였습니다.

![스캔 pcap의 http.log에서 존재하지 않는 주소 8개의 GET이 모두 404와 sqlmap/1.7로 기록되고 POST /login이 200으로 기록된 것과, conn.log 한 줄의 출발지, 목적지, 서비스와 연결 상태를 확인합니다.](https://copyandrun.com/img/zeek-pcap-conn-http-logs/02-zeek-http-conn-로그.png)

## 5. 숫자가 처음에는 맞지 않았던 이유

처음에는 tcpdump로 pcap의 전체 패킷을 세어 Zeek의 합계와 비교했는데 정상 pcap이 39 대 30으로 맞지 않았습니다. 나눠서 보니 차이는 전부 ARP 요청과 응답(9개)이었습니다. ARP는 IP 연결이 아니라서 Zeek의 `conn.log`에 연결로 남지 않으므로, 비교 대상을 TCP 패킷으로 좁혀서 맞췄습니다. 한 번은 정상 pcap에서 ICMPv6 패킷 하나가 별도 연결(`proto: icmp`)로 잡혀 합계가 31이 된 적도 있었습니다. 컨테이너 네트워크가 가끔 내보내는 IPv6 안내 패킷으로 보이며, 원인은 더 확인하지 않았습니다. 그래서 요약 스크립트는 연결을 TCP와 그 밖으로 나누어 보여 주고 TCP 쪽만 합칩니다.

여기서 얻는 교훈은 로그를 믿기 전에 "무엇을 센 숫자인가"를 맞춰 보아야 한다는 점입니다.

## 6. 404 개수를 게이트로 만들기

`zeek_summary.py`는 `http.log`에서 응답 코드가 404인 요청을 출발지별로 세고, 가장 많은 출발지가 `--max404`(기본 5)를 넘으면 종료 코드 1로 끝납니다. 정상 pcap은 0건, 스캔 pcap은 8건이라 각각 0과 1이 나왔습니다. 기준 5는 이 실습용으로 정한 값이며, 실제 사이트에서는 정상 사용자도 가끔 404를 만나므로 시간 구간과 출발지 수를 함께 봐야 합니다. 그 부분은 해 보지 않았습니다.

## 전체 코드

전체를 한 번에 돌리는 스크립트입니다. 아래 파일과 같은 폴더에서 실행합니다.

```bash
# zeek_demo.sh
#!/usr/bin/env bash
# 내 PC의 웹 컨테이너 트래픽을 pcap 으로 저장하고, Zeek 가 그 파일을 읽어 conn.log 와 http.log 를 만드는지 확인한다.
# 준비: Docker, python, 같은 폴더에 nginx_lab.conf, zeek_summary.py.
# 실행(Git Bash): bash zeek_demo.sh   (약 2분)
export MSYS_NO_PATHCONV=1
HERE="$(pwd)"
OUT=../osk-fd-zeek-out                  # 결과 폴더는 스크립트 폴더 밖에 둔다. Windows 의 python 이 읽도록 상대 경로로 둔다
rm -rf "$OUT"; mkdir -p "$OUT"; ABS="$(cd "$OUT" && pwd)"
cleanup() { docker rm -f osk-fd-zweb osk-fd-zsniff >/dev/null 2>&1; docker network rm osk-fd-znet >/dev/null 2>&1; }
cleanup
docker network create osk-fd-znet >/dev/null
docker run -d --name osk-fd-zweb --network osk-fd-znet -v "$HERE/nginx_lab.conf:/etc/nginx/conf.d/default.conf:ro" nginx:alpine >/dev/null
sleep 2

capture() {   # capture <이름> <함수> : tcpdump 를 켜고, 그 사이에 트래픽을 만든 뒤 pcap 으로 저장
  local name="$1"; shift
  docker run -d --name osk-fd-zsniff --network container:osk-fd-zweb --cap-add NET_RAW --cap-add NET_ADMIN \
    -v "$ABS:/out" nicolaka/netshoot tcpdump -i eth0 -U -w "/out/$name.pcap" >/dev/null
  sleep 2
  "$@"
  sleep 1
  docker stop osk-fd-zsniff >/dev/null; docker rm osk-fd-zsniff >/dev/null
}
C() { docker run --rm --network osk-fd-znet curlimages/curl -s -o /dev/null "$@"; }
clean_traffic() {
  for p in / /health /login; do C "http://osk-fd-zweb$p"; done
}
scan_traffic() {
  for p in /admin /.env /backup.zip /wp-login.php /phpmyadmin /config.php /.git/config /server-status; do
    C -A 'sqlmap/1.7' "http://osk-fd-zweb$p"
  done
  C -A 'sqlmap/1.7' -d 'user=admin&pw=1' http://osk-fd-zweb/login
}
echo "## 1. pcap 만들기"
capture clean clean_traffic
capture scan scan_traffic
for n in clean scan; do
  T=$(docker run --rm -v "$ABS:/out" --entrypoint sh nicolaka/netshoot -c "tcpdump -nn -r /out/$n.pcap tcp 2>/dev/null | wc -l")
  O=$(docker run --rm -v "$ABS:/out" --entrypoint sh nicolaka/netshoot -c "tcpdump -nn -r /out/$n.pcap 'not tcp' 2>/dev/null | wc -l")
  echo "$T" > "$OUT/$n.pkts"; echo "  $n.pcap: TCP 패킷 $T개, 그 밖의 패킷(ARP) $O개"
done

for n in clean scan; do
  mkdir -p "$OUT/log-$n"
  docker run --rm -v "$ABS:/out" -w "/out/log-$n" zeek/zeek:latest zeek -C -r "/out/$n.pcap" LogAscii::use_json=T >/dev/null 2>&1
  for f in conn http; do mv "$OUT/log-$n/$f.log" "$OUT/log-$n/$f.json" 2>/dev/null; done
done
echo "## 2. 정상 pcap의 Zeek 로그"
python zeek_summary.py "$OUT/log-clean" --pcap-packets "$(cat "$OUT/clean.pkts")"; echo "  종료 코드 $?"
echo "## 3. 스캔 pcap의 Zeek 로그"
python zeek_summary.py "$OUT/log-scan" --pcap-packets "$(cat "$OUT/scan.pkts")"; echo "  종료 코드 $?"
cleanup
echo "## 끝 (결과 폴더: $OUT)"
```

시험용 웹 서버 설정입니다. 세 주소만 200이고 나머지는 404입니다.

```nginx
# nginx_lab.conf
server {
  listen 80;
  location = / { return 200 "hello\n"; }
  location = /health { return 200 "ok\n"; }
  location = /login { return 200 "ok\n"; }
  location / { return 404 "not found\n"; }
}
```

Zeek의 JSON 로그를 요약하고 404 개수로 종료 코드를 정하는 스크립트입니다.

```python
# zeek_summary.py
#!/usr/bin/env python3
"""Zeek 의 JSON 로그(conn.log, http.log)를 요약하고, 한 출발지의 404 응답이 기준을 넘으면 종료 코드 1 로 끝낸다.
사용: python zeek_summary.py 로그폴더 [--max404 5] [--pcap-packets N]"""
import collections
import json
import sys

sys.stdout.reconfigure(encoding="utf-8")


def rows(path):
    with open(path, encoding="utf-8") as f:
        return [json.loads(line) for line in f if line.strip()]


args = sys.argv[1:]
folder = args[0]
limit = int(args[args.index("--max404") + 1]) if "--max404" in args else 5
pcap_packets = int(args[args.index("--pcap-packets") + 1]) if "--pcap-packets" in args else None

conn = rows(f"{folder}/conn.json")
http = rows(f"{folder}/http.json")
tcp = [c for c in conn if c.get("proto") == "tcp"]
pkts = sum(c.get("orig_pkts", 0) + c.get("resp_pkts", 0) for c in tcp)
print(f"  연결 {len(conn)}개(TCP {len(tcp)}개, 그 밖 {len(conn) - len(tcp)}개), TCP 패킷 합계 {pkts}개, HTTP 요청 {len(http)}건")
if pcap_packets is not None:
    print(f"  pcap 의 TCP 패킷 수 {pcap_packets}개 -> {'일치' if pcap_packets == pkts else '불일치'}")
codes = collections.Counter(h.get("status_code") for h in http)
print("  응답 코드: " + ", ".join(f"{k} x{v}" for k, v in sorted(codes.items(), key=lambda x: str(x[0]))))
agents = collections.Counter(h.get("user_agent", "-") for h in http)
print("  User-Agent: " + ", ".join(f"{k} x{v}" for k, v in agents.items()))
n404 = collections.Counter(h["id.orig_h"] for h in http if h.get("status_code") == 404)
worst = max(n404.values(), default=0)
print(f"  한 출발지의 404 최대 {worst}건 (허용 {limit}건)")
sys.exit(1 if worst > limit else 0)
```

## 자주 막히는 곳

| 증상 | 원인 | 해결 |
|---|---|---|
| Zeek 합계가 tcpdump 전체 개수보다 작음 | ARP 같은 IP가 아닌 패킷은 연결로 남지 않음 | `tcpdump ... tcp`로 TCP만 세어 비교 |
| 합계가 1 많게 나오는 날이 있음 | 정상 pcap에 ICMPv6 패킷이 섞여 별도 연결로 기록됨 | `proto`가 `tcp`인 연결만 합산 |
| 로그가 `.log` 탭 구분 텍스트로 나옴 | JSON 출력 옵션을 안 줌 | `LogAscii::use_json=T` |
| 로그 파일이 현재 폴더에 쌓임 | Zeek은 현재 작업 폴더에 로그를 씀 | `docker run -w /out/log-이름`으로 작업 폴더 지정 |
| 파이썬이 `/c/...` 경로를 못 읽음 | Windows 파이썬은 Git Bash 경로를 모름 | 파이썬에는 상대 경로를 줌 |
| 스캔 요청이 pcap에 안 들어감 | tcpdump를 켜기 전에 요청을 보냄 | 켠 뒤 2초 기다리고 요청 |

## 확인 범위

- **해 본 것:** 2026-10-30, Windows 11 · Docker 29.5.3 · Zeek 9.0.1에서 컨테이너 트래픽의 pcap 저장, Zeek의 JSON `conn.log`와 `http.log` 생성, 정상 pcap(연결 3개, 404 0건)과 스캔 pcap(연결 9개, 404 8건) 비교, TCP 패킷 합계의 tcpdump 대조(30과 30, 90과 90), 404 개수의 종료 코드 변환(0과 1)을 실행했습니다. 전체 스크립트를 세 번 실행했고 TCP 패킷 수와 응답 코드 분포는 매번 같았으며, 끝에 컨테이너와 네트워크를 지웠습니다.
- **해 보지 않은 것:** 실시간 인터페이스 감시, Zeek 스크립트 작성, 알림(`notice.log`) 기능, HTTPS 트래픽, `-C` 없이 실행, 시간 구간별 집계, 대용량 pcap의 성능, Linux와 macOS.
- **읽을 때 주의:** 트래픽은 내 PC의 컨테이너끼리 만든 것이며 남의 시스템에는 보내지 않았습니다. `sqlmap/1.7`은 User-Agent 문자열만 흉내 낸 값입니다. 404 기준 5건은 이 실습용 값이고, 로그 필드 이름과 출력은 Zeek 9.0.1 기준입니다.
