Copy & Run

pandas groupby 사용법: CSV 로그에서 실패 로그인 집계

로그인 시도 600건이 담긴 CSV를 pandas로 읽고 head, info, describe로 살펴본 뒤, 실패한 행만 걸러 IP별로 groupby 집계합니다. 정렬하고 CSV로 저장하는 순서까지 실제 출력으로 정리합니다.

실습 노트 · 2026-11-16 발행 · 13분 · 2026-11 확인

pandas로 CSV를 분석하는 순서는 읽기, 살펴보기, 걸러내기, 묶어서 세기, 정렬, 저장입니다. 이 글에서는 로그인 시도 600건이 담긴 CSV를 읽어 실패 로그인이 가장 많은 IP를 찾습니다. 집계해 보면 IP 두 개가 전체 실패 217건 중 200건을 차지합니다.

준비물

항목 내용
Python 3.12.10
pandas 3.1.1
numpy 2.5.5 (pandas와 함께 설치됨)
샘플 데이터 login_attempts.csv 600행 (아래 1번에서 직접 생성)
실습 위치 빈 폴더 하나

샘플의 IP는 모두 문서용 대역(192.0.2.0/24, 198.51.100.0/24, 203.0.113.0/24)에서 골랐습니다. 실제 주소와 겹치지 않습니다.

1. pandas 설치와 샘플 CSV 만들기

빈 폴더에서 가상 환경을 만들고 pandas를 설치합니다. 가상 환경에 설치하면 PC에 있는 다른 Python 프로젝트의 패키지 버전이 바뀌지 않습니다.

python -m venv .venv
.venv/Scripts/python -m pip install pandas
.venv/Scripts/python -c "import pandas, numpy; print('pandas', pandas.__version__); print('numpy', numpy.__version__)"
pandas 3.1.1
numpy 2.5.5

macOS와 Linux에서는 .venv/Scripts/python 대신 .venv/bin/python을 씁니다.

다음은 샘플을 만드는 make_data.py입니다. 난수 seed를 42로 고정했으므로 누가 실행해도 같은 CSV가 나옵니다. IP 10개 중 두 개(198.51.100.23, 203.0.113.77)에만 실패 확률을 높게 주었습니다.

import numpy as np
import pandas as pd

rng = np.random.default_rng(42)
n = 600

# (IP, 선택 비중, 실패 확률)
sources = [
    ("192.0.2.10", 6, 0.05),
    ("192.0.2.11", 6, 0.08),
    ("192.0.2.25", 5, 0.10),
    ("192.0.2.40", 5, 0.05),
    ("198.51.100.7", 6, 0.12),
    ("198.51.100.23", 14, 0.92),
    ("198.51.100.64", 4, 0.06),
    ("203.0.113.5", 5, 0.10),
    ("203.0.113.77", 10, 0.85),
    ("203.0.113.120", 4, 0.07),
]
ips = [s[0] for s in sources]
weights = np.array([s[1] for s in sources], dtype=float)
fail_prob = {s[0]: s[2] for s in sources}

start = pd.Timestamp("2026-11-09 00:00:00")
seconds = np.sort(rng.integers(0, 7 * 24 * 3600, size=n))
src_ip = rng.choice(ips, size=n, p=weights / weights.sum())
users = rng.choice(["admin", "alice", "bob", "carol", "deploy"], size=n)
failed = rng.random(n) < np.array([fail_prob[ip] for ip in src_ip])
response_ms = rng.normal(180, 40, size=n).clip(60, None).round().astype(int)

df = pd.DataFrame({
    "timestamp": start + pd.to_timedelta(seconds, unit="s"),
    "src_ip": src_ip,
    "username": users,
    "result": np.where(failed, "fail", "success"),
    "response_ms": response_ms,
})
df.to_csv("login_attempts.csv", index=False)
print(f"{len(df)} rows written")
.venv/Scripts/python make_data.py
600 rows written

파일 앞부분은 이렇게 생겼습니다. 첫 줄이 열 이름이고, 한 줄이 로그인 시도 한 건입니다.

timestamp,src_ip,username,result,response_ms
2026-11-09 00:53:29,203.0.113.5,admin,success,271
2026-11-09 01:05:37,192.0.2.11,bob,success,139
2026-11-09 01:11:19,198.51.100.23,bob,fail,183

2. CSV 읽기: read_csv

pd.read_csv는 CSV를 DataFrame이라는 표 객체로 읽습니다. parse_dates에 열 이름을 주면 그 열을 문자열이 아닌 날짜 타입으로 읽어 옵니다. 이후 코드는 Python 대화형 창이나 .py 파일 어디에서 실행해도 결과가 같습니다.

import pandas as pd

df = pd.read_csv("login_attempts.csv", parse_dates=["timestamp"])
print(df.shape)
(600, 5)

shape은 (행 수, 열 수)입니다. 600행 5열이 맞게 들어왔습니다.

3. 데이터 살펴보기: head, info, describe

집계하기 전에 세 가지를 확인합니다. 앞의 몇 줄, 열의 타입과 빈 값, 숫자 열의 범위입니다.

print(df.head())
            timestamp         src_ip username   result  response_ms
0 2026-11-09 00:53:29    203.0.113.5    admin  success          271
1 2026-11-09 01:05:37     192.0.2.11      bob  success          139
2 2026-11-09 01:11:19  198.51.100.23      bob     fail          183
3 2026-11-09 01:14:12  198.51.100.23    alice     fail          133
4 2026-11-09 01:39:57   203.0.113.77    admin     fail          149

head()는 앞의 5행을 보여 줍니다. 맨 왼쪽의 0부터 시작하는 숫자는 CSV에 없던 값으로, pandas가 붙인 행 번호(index)입니다.

df.info()
<class 'pandas.DataFrame'>
RangeIndex: 600 entries, 0 to 599
Data columns (total 5 columns):
 #   Column       Non-Null Count  Dtype         
---  ------       --------------  -----         
 0   timestamp    600 non-null    datetime64[us]
 1   src_ip       600 non-null    str           
 2   username     600 non-null    str           
 3   result       600 non-null    str           
 4   response_ms  600 non-null    int64         
dtypes: datetime64[us](1), int64(1), str(3)
memory usage: 23.6 KB

Non-Null Count가 모든 열에서 600이므로 빈 값이 없습니다. timestamp가 datetime64로 읽혔는지도 여기서 확인합니다. pandas 2 이하에서는 문자열 열의 Dtype이 str 대신 object로 표시됩니다.

print(df.describe())
                        timestamp  response_ms
count                         600   600.000000
mean   2026-11-12 12:04:35.961666   177.818333
min           2026-11-09 00:53:29    60.000000
25%    2026-11-10 17:32:16.500000   150.000000
50%    2026-11-12 11:24:29.500000   181.000000
75%           2026-11-14 08:00:04   204.000000
max           2026-11-15 23:40:07   294.000000
std                           NaN    40.259243

describe()는 숫자와 날짜 열만 요약합니다. 로그는 11월 9일부터 15일까지 7일 치이고, 응답 시간은 60ms에서 294ms 사이입니다. 문자열 열은 value_counts()로 값별 건수를 셉니다.

print(df["result"].value_counts())
result
success    383
fail       217
Name: count, dtype: int64

전체 600건 중 217건이 실패입니다.

4. 조건으로 행 걸러내기

대괄호 안에 조건식을 넣으면 조건이 참인 행만 남습니다. 아래는 실패한 시도만 fails에 담는 코드입니다.

fails = df[df["result"] == "fail"]
print(len(fails))
print(fails.head(3))
217
            timestamp         src_ip username result  response_ms
2 2026-11-09 01:11:19  198.51.100.23      bob   fail          183
3 2026-11-09 01:14:12  198.51.100.23    alice   fail          133
4 2026-11-09 01:39:57   203.0.113.77    admin   fail          149

조건이 두 개면 각각 괄호로 감싸고 &(그리고)나 |(또는)로 잇습니다. Python의 and, or를 쓰면 오류가 납니다.

admin_fails = df[(df["result"] == "fail") & (df["username"] == "admin")]
print(len(admin_fails))
48

admin 계정으로 실패한 시도는 48건입니다.

5. groupby로 IP별 실패 횟수 세기

groupby("src_ip")는 같은 IP끼리 행을 묶고, size()는 묶음마다 행 수를 셉니다. sort_values(ascending=False)로 많은 순서대로 정렬합니다.

fail_by_ip = fails.groupby("src_ip").size().sort_values(ascending=False)
print(fail_by_ip.head(5))
src_ip
198.51.100.23    123
203.0.113.77      77
203.0.113.120      4
192.0.2.10         3
192.0.2.11         3
dtype: int64

198.51.100.23이 123건, 203.0.113.77이 77건으로 두 IP가 실패 217건 중 200건을 차지합니다. 나머지 IP는 4건 이하입니다.

6. agg로 여러 값을 한 번에 집계하기

실패 횟수만으로는 원래 접속이 많은 IP와 구분하기 어렵습니다. agg를 쓰면 IP마다 전체 시도 수, 실패 수, 시도한 계정 수, 평균 응답 시간을 한 표로 만들 수 있습니다. 적는 형식은 새 열 이름=("대상 열", "집계 함수")입니다.

summary = (
    df.assign(is_fail=df["result"] == "fail")
    .groupby("src_ip")
    .agg(
        attempts=("result", "size"),
        fails=("is_fail", "sum"),
        users=("username", "nunique"),
        avg_ms=("response_ms", "mean"),
    )
)
summary["fail_rate"] = (summary["fails"] / summary["attempts"]).round(2)
summary["avg_ms"] = summary["avg_ms"].round(1)
summary = summary.sort_values(["fails", "fail_rate"], ascending=False)
print(summary)
               attempts  fails  users  avg_ms  fail_rate
src_ip                                                  
198.51.100.23       130    123      5   183.6       0.95
203.0.113.77         93     77      5   176.7       0.83
203.0.113.120        34      4      5   176.7       0.12
198.51.100.7         52      3      5   174.9       0.06
192.0.2.10           55      3      5   176.6       0.05
192.0.2.11           62      3      5   171.9       0.05
192.0.2.25           39      2      5   176.2       0.05
192.0.2.40           47      1      5   182.3       0.02
203.0.113.5          53      1      5   170.0       0.02
198.51.100.64        35      0      5   185.0       0.00

assign은 실패 여부를 True/False로 담은 is_fail 열을 임시로 붙입니다. True는 1로 계산되므로 sum이 곧 실패 횟수가 됩니다. 상위 두 IP는 실패율이 0.95와 0.83이고, 나머지는 0.12 이하입니다. 시도 수가 적지 않은 192.0.2.11(62건 중 3건 실패)과 비교하면 차이가 분명합니다.

실제 로그에서 이런 IP를 찾았다면 같은 시간대의 성공 로그인이 있는지 이어서 확인합니다. Linux 서버의 로그에서 같은 판단을 하는 순서는 auth.log로 SSH 침입 흔적 읽기에 있습니다.

7. 결과를 CSV로 저장하기

to_csv로 집계 결과를 파일로 남깁니다. 여기서는 src_ip가 index이므로 index=False를 붙이지 않습니다. 붙이면 IP 열이 빠진 채 저장됩니다.

summary.to_csv("fail_by_ip.csv")
print(pd.read_csv("fail_by_ip.csv").head(3))
          src_ip  attempts  fails  users  avg_ms  fail_rate
0  198.51.100.23       130    123      5   183.6       0.95
1   203.0.113.77        93     77      5   176.7       0.83
2  203.0.113.120        34      4      5   176.7       0.12

다시 읽어 보면 IP가 일반 열로 들어와 있습니다. 한글이 든 CSV를 Excel에서 열 계획이면 encoding="utf-8-sig"를 함께 줍니다.

8. 사용한 메서드 정리

단계 메서드 하는 일 이 글에서 확인한 값
읽기 pd.read_csv CSV를 DataFrame으로 읽기 600행 5열
살펴보기 head, info, describe 앞 5행, 타입과 빈 값, 숫자 요약 빈 값 0, 응답 60~294ms
값 세기 value_counts 열의 값별 건수 success 383, fail 217
거르기 df[조건] 조건이 참인 행만 남기기 실패 217행
묶어 세기 groupby().size() 묶음별 행 수 최다 IP 123건
여러 집계 groupby().agg() 묶음별로 여러 값 계산 실패율 0.95, 0.83
정렬 sort_values 열 값 기준 정렬 실패 많은 순
저장 to_csv DataFrame을 CSV로 쓰기 fail_by_ip.csv 10행

같은 데이터를 그래프로 그리는 방법은 matplotlib 그래프 그리기: 막대, 선, 히스토그램 기초에 있습니다.

자주 묻는 질문

groupby().size()와 count()는 무엇이 다릅니까?

size()는 묶음의 행 수를 그대로 세고, count()는 열마다 빈 값(NaN)을 뺀 개수를 셉니다.

조건을 and로 이으면 왜 오류가 납니까?

and가 열 전체를 참 또는 거짓 하나로 바꾸려 하기 때문입니다. 행마다 비교하려면 조건을 괄호로 감싸고 &를 써야 합니다.

CSV가 커서 읽는 데 오래 걸리면 어떻게 합니까?

read_csv의 usecols로 필요한 열만 읽거나 chunksize로 나누어 읽으면 메모리와 시간을 줄일 수 있습니다.

이 글의 다음 단계

  • matplotlib 그래프 그리기: 막대, 선, 히스토그램 기초로그인 시도 CSV 600건으로 matplotlib 막대 그래프, 선 그래프, 히스토그램을 하나씩 그리고 savefig로 PNG를 저장합니다. 한글이 깨질 때 나오는 경고와 Malgun Gothic 글꼴 설정까지 실제 출력으로 정리합니다.
  • Kibana 대시보드와 GeoIP 지도로 접속 현황 보기Docker compose로 Elasticsearch 8.19와 Kibana 8.19를 띄우고, ingest pipeline의 geoip 프로세서로 접근 로그의 IP에 위치 정보를 붙입니다. 상위 IP, 상태 코드, 시간대별 요청 수, 지도 패널을 대시보드로 저장하고 저장 객체를 내보내 다시 가져옵니다.

이 내용을 팀 교육으로 진행하고 싶으신가요?

인원, 수준, 일정에 맞춰 실습 환경까지 준비해 진행합니다. 대상과 기간을 알려 주시면 구성을 제안해 드립니다.

교육 문의하기

교육 진행 순서와 자주 묻는 질문 보기

팀이나 교육 담당자에게 이 글 제안하기

메일로 보내실 수도 있습니다: fankh111@gmail.com

같은 카테고리의 글