# pandas groupby 사용법: CSV 로그에서 실패 로그인 집계

> 로그인 시도 600건이 담긴 CSV를 pandas로 읽고 head, info, describe로 살펴본 뒤, 실패한 행만 걸러 IP별로 groupby 집계합니다. 정렬하고 CSV로 저장하는 순서까지 실제 출력으로 정리합니다.

- 주소: https://copyandrun.com/blog/pandas-csv-groupby-first-analysis/
- 분야: SIEM·보안관제
- 발행일: 2026-11-16
- 태그: pandas, groupby, CSV, Python, 로그 분석

pandas로 CSV를 분석하는 순서는 읽기, 살펴보기, 걸러내기, 묶어서 세기, 정렬, 저장입니다. 이 글에서는 로그인 시도 600건이 담긴 CSV를 읽어 실패 로그인이 가장 많은 IP를 찾습니다. 집계해 보면 IP 두 개가 전체 실패 217건 중 200건을 차지합니다.

## 준비물

| 항목 | 내용 |
| --- | --- |
| Python | 3.12.10 |
| pandas | 3.1.1 |
| numpy | 2.5.5 (pandas와 함께 설치됨) |
| 샘플 데이터 | `login_attempts.csv` 600행 (아래 1번에서 직접 생성) |
| 실습 위치 | 빈 폴더 하나 |

샘플의 IP는 모두 문서용 대역(`192.0.2.0/24`, `198.51.100.0/24`, `203.0.113.0/24`)에서 골랐습니다. 실제 주소와 겹치지 않습니다.

## 1. pandas 설치와 샘플 CSV 만들기

빈 폴더에서 가상 환경을 만들고 pandas를 설치합니다. 가상 환경에 설치하면 PC에 있는 다른 Python 프로젝트의 패키지 버전이 바뀌지 않습니다.

```bash
python -m venv .venv
.venv/Scripts/python -m pip install pandas
.venv/Scripts/python -c "import pandas, numpy; print('pandas', pandas.__version__); print('numpy', numpy.__version__)"
```

```text
pandas 3.1.1
numpy 2.5.5
```

macOS와 Linux에서는 `.venv/Scripts/python` 대신 `.venv/bin/python`을 씁니다.

다음은 샘플을 만드는 `make_data.py`입니다. 난수 seed를 `42`로 고정했으므로 누가 실행해도 같은 CSV가 나옵니다. IP 10개 중 두 개(`198.51.100.23`, `203.0.113.77`)에만 실패 확률을 높게 주었습니다.

```python
import numpy as np
import pandas as pd

rng = np.random.default_rng(42)
n = 600

# (IP, 선택 비중, 실패 확률)
sources = [
    ("192.0.2.10", 6, 0.05),
    ("192.0.2.11", 6, 0.08),
    ("192.0.2.25", 5, 0.10),
    ("192.0.2.40", 5, 0.05),
    ("198.51.100.7", 6, 0.12),
    ("198.51.100.23", 14, 0.92),
    ("198.51.100.64", 4, 0.06),
    ("203.0.113.5", 5, 0.10),
    ("203.0.113.77", 10, 0.85),
    ("203.0.113.120", 4, 0.07),
]
ips = [s[0] for s in sources]
weights = np.array([s[1] for s in sources], dtype=float)
fail_prob = {s[0]: s[2] for s in sources}

start = pd.Timestamp("2026-11-09 00:00:00")
seconds = np.sort(rng.integers(0, 7 * 24 * 3600, size=n))
src_ip = rng.choice(ips, size=n, p=weights / weights.sum())
users = rng.choice(["admin", "alice", "bob", "carol", "deploy"], size=n)
failed = rng.random(n) < np.array([fail_prob[ip] for ip in src_ip])
response_ms = rng.normal(180, 40, size=n).clip(60, None).round().astype(int)

df = pd.DataFrame({
    "timestamp": start + pd.to_timedelta(seconds, unit="s"),
    "src_ip": src_ip,
    "username": users,
    "result": np.where(failed, "fail", "success"),
    "response_ms": response_ms,
})
df.to_csv("login_attempts.csv", index=False)
print(f"{len(df)} rows written")
```

```bash
.venv/Scripts/python make_data.py
```

```text
600 rows written
```

파일 앞부분은 이렇게 생겼습니다. 첫 줄이 열 이름이고, 한 줄이 로그인 시도 한 건입니다.

```text
timestamp,src_ip,username,result,response_ms
2026-11-09 00:53:29,203.0.113.5,admin,success,271
2026-11-09 01:05:37,192.0.2.11,bob,success,139
2026-11-09 01:11:19,198.51.100.23,bob,fail,183
```

## 2. CSV 읽기: read_csv

`pd.read_csv`는 CSV를 DataFrame이라는 표 객체로 읽습니다. `parse_dates`에 열 이름을 주면 그 열을 문자열이 아닌 날짜 타입으로 읽어 옵니다. 이후 코드는 Python 대화형 창이나 `.py` 파일 어디에서 실행해도 결과가 같습니다.

```python
import pandas as pd

df = pd.read_csv("login_attempts.csv", parse_dates=["timestamp"])
print(df.shape)
```

```text
(600, 5)
```

`shape`은 (행 수, 열 수)입니다. 600행 5열이 맞게 들어왔습니다.

## 3. 데이터 살펴보기: head, info, describe

집계하기 전에 세 가지를 확인합니다. 앞의 몇 줄, 열의 타입과 빈 값, 숫자 열의 범위입니다.

```python
print(df.head())
```

```text
            timestamp         src_ip username   result  response_ms
0 2026-11-09 00:53:29    203.0.113.5    admin  success          271
1 2026-11-09 01:05:37     192.0.2.11      bob  success          139
2 2026-11-09 01:11:19  198.51.100.23      bob     fail          183
3 2026-11-09 01:14:12  198.51.100.23    alice     fail          133
4 2026-11-09 01:39:57   203.0.113.77    admin     fail          149
```

`head()`는 앞의 5행을 보여 줍니다. 맨 왼쪽의 0부터 시작하는 숫자는 CSV에 없던 값으로, pandas가 붙인 행 번호(index)입니다.

```python
df.info()
```

```text
<class 'pandas.DataFrame'>
RangeIndex: 600 entries, 0 to 599
Data columns (total 5 columns):
 #   Column       Non-Null Count  Dtype         
---  ------       --------------  -----         
 0   timestamp    600 non-null    datetime64[us]
 1   src_ip       600 non-null    str           
 2   username     600 non-null    str           
 3   result       600 non-null    str           
 4   response_ms  600 non-null    int64         
dtypes: datetime64[us](1), int64(1), str(3)
memory usage: 23.6 KB
```

`Non-Null Count`가 모든 열에서 600이므로 빈 값이 없습니다. `timestamp`가 `datetime64`로 읽혔는지도 여기서 확인합니다. pandas 2 이하에서는 문자열 열의 `Dtype`이 `str` 대신 `object`로 표시됩니다.

```python
print(df.describe())
```

```text
                        timestamp  response_ms
count                         600   600.000000
mean   2026-11-12 12:04:35.961666   177.818333
min           2026-11-09 00:53:29    60.000000
25%    2026-11-10 17:32:16.500000   150.000000
50%    2026-11-12 11:24:29.500000   181.000000
75%           2026-11-14 08:00:04   204.000000
max           2026-11-15 23:40:07   294.000000
std                           NaN    40.259243
```

`describe()`는 숫자와 날짜 열만 요약합니다. 로그는 11월 9일부터 15일까지 7일 치이고, 응답 시간은 60ms에서 294ms 사이입니다. 문자열 열은 `value_counts()`로 값별 건수를 셉니다.

```python
print(df["result"].value_counts())
```

```text
result
success    383
fail       217
Name: count, dtype: int64
```

전체 600건 중 217건이 실패입니다.

## 4. 조건으로 행 걸러내기

대괄호 안에 조건식을 넣으면 조건이 참인 행만 남습니다. 아래는 실패한 시도만 `fails`에 담는 코드입니다.

```python
fails = df[df["result"] == "fail"]
print(len(fails))
print(fails.head(3))
```

```text
217
            timestamp         src_ip username result  response_ms
2 2026-11-09 01:11:19  198.51.100.23      bob   fail          183
3 2026-11-09 01:14:12  198.51.100.23    alice   fail          133
4 2026-11-09 01:39:57   203.0.113.77    admin   fail          149
```

조건이 두 개면 각각 괄호로 감싸고 `&`(그리고)나 `|`(또는)로 잇습니다. Python의 `and`, `or`를 쓰면 오류가 납니다.

```python
admin_fails = df[(df["result"] == "fail") & (df["username"] == "admin")]
print(len(admin_fails))
```

```text
48
```

`admin` 계정으로 실패한 시도는 48건입니다.

## 5. groupby로 IP별 실패 횟수 세기

`groupby("src_ip")`는 같은 IP끼리 행을 묶고, `size()`는 묶음마다 행 수를 셉니다. `sort_values(ascending=False)`로 많은 순서대로 정렬합니다.

```python
fail_by_ip = fails.groupby("src_ip").size().sort_values(ascending=False)
print(fail_by_ip.head(5))
```

```text
src_ip
198.51.100.23    123
203.0.113.77      77
203.0.113.120      4
192.0.2.10         3
192.0.2.11         3
dtype: int64
```

`198.51.100.23`이 123건, `203.0.113.77`이 77건으로 두 IP가 실패 217건 중 200건을 차지합니다. 나머지 IP는 4건 이하입니다.

## 6. agg로 여러 값을 한 번에 집계하기

실패 횟수만으로는 원래 접속이 많은 IP와 구분하기 어렵습니다. `agg`를 쓰면 IP마다 전체 시도 수, 실패 수, 시도한 계정 수, 평균 응답 시간을 한 표로 만들 수 있습니다. 적는 형식은 `새 열 이름=("대상 열", "집계 함수")`입니다.

```python
summary = (
    df.assign(is_fail=df["result"] == "fail")
    .groupby("src_ip")
    .agg(
        attempts=("result", "size"),
        fails=("is_fail", "sum"),
        users=("username", "nunique"),
        avg_ms=("response_ms", "mean"),
    )
)
summary["fail_rate"] = (summary["fails"] / summary["attempts"]).round(2)
summary["avg_ms"] = summary["avg_ms"].round(1)
summary = summary.sort_values(["fails", "fail_rate"], ascending=False)
print(summary)
```

```text
               attempts  fails  users  avg_ms  fail_rate
src_ip                                                  
198.51.100.23       130    123      5   183.6       0.95
203.0.113.77         93     77      5   176.7       0.83
203.0.113.120        34      4      5   176.7       0.12
198.51.100.7         52      3      5   174.9       0.06
192.0.2.10           55      3      5   176.6       0.05
192.0.2.11           62      3      5   171.9       0.05
192.0.2.25           39      2      5   176.2       0.05
192.0.2.40           47      1      5   182.3       0.02
203.0.113.5          53      1      5   170.0       0.02
198.51.100.64        35      0      5   185.0       0.00
```

`assign`은 실패 여부를 True/False로 담은 `is_fail` 열을 임시로 붙입니다. True는 1로 계산되므로 `sum`이 곧 실패 횟수가 됩니다. 상위 두 IP는 실패율이 0.95와 0.83이고, 나머지는 0.12 이하입니다. 시도 수가 적지 않은 `192.0.2.11`(62건 중 3건 실패)과 비교하면 차이가 분명합니다.

실제 로그에서 이런 IP를 찾았다면 같은 시간대의 성공 로그인이 있는지 이어서 확인합니다. Linux 서버의 로그에서 같은 판단을 하는 순서는 [auth.log로 SSH 침입 흔적 읽기](/blog/linux-auth-log-ssh-intrusion-triage/)에 있습니다.

## 7. 결과를 CSV로 저장하기

`to_csv`로 집계 결과를 파일로 남깁니다. 여기서는 `src_ip`가 index이므로 `index=False`를 붙이지 않습니다. 붙이면 IP 열이 빠진 채 저장됩니다.

```python
summary.to_csv("fail_by_ip.csv")
print(pd.read_csv("fail_by_ip.csv").head(3))
```

```text
          src_ip  attempts  fails  users  avg_ms  fail_rate
0  198.51.100.23       130    123      5   183.6       0.95
1   203.0.113.77        93     77      5   176.7       0.83
2  203.0.113.120        34      4      5   176.7       0.12
```

다시 읽어 보면 IP가 일반 열로 들어와 있습니다. 한글이 든 CSV를 Excel에서 열 계획이면 `encoding="utf-8-sig"`를 함께 줍니다.

## 8. 사용한 메서드 정리

| 단계 | 메서드 | 하는 일 | 이 글에서 확인한 값 |
| --- | --- | --- | --- |
| 읽기 | `pd.read_csv` | CSV를 DataFrame으로 읽기 | 600행 5열 |
| 살펴보기 | `head`, `info`, `describe` | 앞 5행, 타입과 빈 값, 숫자 요약 | 빈 값 0, 응답 60~294ms |
| 값 세기 | `value_counts` | 열의 값별 건수 | success 383, fail 217 |
| 거르기 | `df[조건]` | 조건이 참인 행만 남기기 | 실패 217행 |
| 묶어 세기 | `groupby().size()` | 묶음별 행 수 | 최다 IP 123건 |
| 여러 집계 | `groupby().agg()` | 묶음별로 여러 값 계산 | 실패율 0.95, 0.83 |
| 정렬 | `sort_values` | 열 값 기준 정렬 | 실패 많은 순 |
| 저장 | `to_csv` | DataFrame을 CSV로 쓰기 | `fail_by_ip.csv` 10행 |

같은 데이터를 그래프로 그리는 방법은 [matplotlib 그래프 그리기: 막대, 선, 히스토그램 기초](/blog/matplotlib-bar-line-distribution-basics/)에 있습니다.

## 자주 묻는 질문

**`groupby().size()`와 `count()`는 무엇이 다릅니까?**

`size()`는 묶음의 행 수를 그대로 세고, `count()`는 열마다 빈 값(NaN)을 뺀 개수를 셉니다.

**조건을 `and`로 이으면 왜 오류가 납니까?**

`and`가 열 전체를 참 또는 거짓 하나로 바꾸려 하기 때문입니다. 행마다 비교하려면 조건을 괄호로 감싸고 `&`를 써야 합니다.

**CSV가 커서 읽는 데 오래 걸리면 어떻게 합니까?**

`read_csv`의 `usecols`로 필요한 열만 읽거나 `chunksize`로 나누어 읽으면 메모리와 시간을 줄일 수 있습니다.
