pandas로 CSV를 분석하는 순서는 읽기, 살펴보기, 걸러내기, 묶어서 세기, 정렬, 저장입니다. 이 글에서는 로그인 시도 600건이 담긴 CSV를 읽어 실패 로그인이 가장 많은 IP를 찾습니다. 집계해 보면 IP 두 개가 전체 실패 217건 중 200건을 차지합니다.
준비물
| 항목 | 내용 |
|---|---|
| Python | 3.12.10 |
| pandas | 3.1.1 |
| numpy | 2.5.5 (pandas와 함께 설치됨) |
| 샘플 데이터 | login_attempts.csv 600행 (아래 1번에서 직접 생성) |
| 실습 위치 | 빈 폴더 하나 |
샘플의 IP는 모두 문서용 대역(192.0.2.0/24, 198.51.100.0/24, 203.0.113.0/24)에서 골랐습니다. 실제 주소와 겹치지 않습니다.
1. pandas 설치와 샘플 CSV 만들기
빈 폴더에서 가상 환경을 만들고 pandas를 설치합니다. 가상 환경에 설치하면 PC에 있는 다른 Python 프로젝트의 패키지 버전이 바뀌지 않습니다.
python -m venv .venv
.venv/Scripts/python -m pip install pandas
.venv/Scripts/python -c "import pandas, numpy; print('pandas', pandas.__version__); print('numpy', numpy.__version__)"
pandas 3.1.1
numpy 2.5.5
macOS와 Linux에서는 .venv/Scripts/python 대신 .venv/bin/python을 씁니다.
다음은 샘플을 만드는 make_data.py입니다. 난수 seed를 42로 고정했으므로 누가 실행해도 같은 CSV가 나옵니다. IP 10개 중 두 개(198.51.100.23, 203.0.113.77)에만 실패 확률을 높게 주었습니다.
import numpy as np
import pandas as pd
rng = np.random.default_rng(42)
n = 600
# (IP, 선택 비중, 실패 확률)
sources = [
("192.0.2.10", 6, 0.05),
("192.0.2.11", 6, 0.08),
("192.0.2.25", 5, 0.10),
("192.0.2.40", 5, 0.05),
("198.51.100.7", 6, 0.12),
("198.51.100.23", 14, 0.92),
("198.51.100.64", 4, 0.06),
("203.0.113.5", 5, 0.10),
("203.0.113.77", 10, 0.85),
("203.0.113.120", 4, 0.07),
]
ips = [s[0] for s in sources]
weights = np.array([s[1] for s in sources], dtype=float)
fail_prob = {s[0]: s[2] for s in sources}
start = pd.Timestamp("2026-11-09 00:00:00")
seconds = np.sort(rng.integers(0, 7 * 24 * 3600, size=n))
src_ip = rng.choice(ips, size=n, p=weights / weights.sum())
users = rng.choice(["admin", "alice", "bob", "carol", "deploy"], size=n)
failed = rng.random(n) < np.array([fail_prob[ip] for ip in src_ip])
response_ms = rng.normal(180, 40, size=n).clip(60, None).round().astype(int)
df = pd.DataFrame({
"timestamp": start + pd.to_timedelta(seconds, unit="s"),
"src_ip": src_ip,
"username": users,
"result": np.where(failed, "fail", "success"),
"response_ms": response_ms,
})
df.to_csv("login_attempts.csv", index=False)
print(f"{len(df)} rows written")
.venv/Scripts/python make_data.py
600 rows written
파일 앞부분은 이렇게 생겼습니다. 첫 줄이 열 이름이고, 한 줄이 로그인 시도 한 건입니다.
timestamp,src_ip,username,result,response_ms
2026-11-09 00:53:29,203.0.113.5,admin,success,271
2026-11-09 01:05:37,192.0.2.11,bob,success,139
2026-11-09 01:11:19,198.51.100.23,bob,fail,183
2. CSV 읽기: read_csv
pd.read_csv는 CSV를 DataFrame이라는 표 객체로 읽습니다. parse_dates에 열 이름을 주면 그 열을 문자열이 아닌 날짜 타입으로 읽어 옵니다. 이후 코드는 Python 대화형 창이나 .py 파일 어디에서 실행해도 결과가 같습니다.
import pandas as pd
df = pd.read_csv("login_attempts.csv", parse_dates=["timestamp"])
print(df.shape)
(600, 5)
shape은 (행 수, 열 수)입니다. 600행 5열이 맞게 들어왔습니다.
3. 데이터 살펴보기: head, info, describe
집계하기 전에 세 가지를 확인합니다. 앞의 몇 줄, 열의 타입과 빈 값, 숫자 열의 범위입니다.
print(df.head())
timestamp src_ip username result response_ms
0 2026-11-09 00:53:29 203.0.113.5 admin success 271
1 2026-11-09 01:05:37 192.0.2.11 bob success 139
2 2026-11-09 01:11:19 198.51.100.23 bob fail 183
3 2026-11-09 01:14:12 198.51.100.23 alice fail 133
4 2026-11-09 01:39:57 203.0.113.77 admin fail 149
head()는 앞의 5행을 보여 줍니다. 맨 왼쪽의 0부터 시작하는 숫자는 CSV에 없던 값으로, pandas가 붙인 행 번호(index)입니다.
df.info()
<class 'pandas.DataFrame'>
RangeIndex: 600 entries, 0 to 599
Data columns (total 5 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 timestamp 600 non-null datetime64[us]
1 src_ip 600 non-null str
2 username 600 non-null str
3 result 600 non-null str
4 response_ms 600 non-null int64
dtypes: datetime64[us](1), int64(1), str(3)
memory usage: 23.6 KB
Non-Null Count가 모든 열에서 600이므로 빈 값이 없습니다. timestamp가 datetime64로 읽혔는지도 여기서 확인합니다. pandas 2 이하에서는 문자열 열의 Dtype이 str 대신 object로 표시됩니다.
print(df.describe())
timestamp response_ms
count 600 600.000000
mean 2026-11-12 12:04:35.961666 177.818333
min 2026-11-09 00:53:29 60.000000
25% 2026-11-10 17:32:16.500000 150.000000
50% 2026-11-12 11:24:29.500000 181.000000
75% 2026-11-14 08:00:04 204.000000
max 2026-11-15 23:40:07 294.000000
std NaN 40.259243
describe()는 숫자와 날짜 열만 요약합니다. 로그는 11월 9일부터 15일까지 7일 치이고, 응답 시간은 60ms에서 294ms 사이입니다. 문자열 열은 value_counts()로 값별 건수를 셉니다.
print(df["result"].value_counts())
result
success 383
fail 217
Name: count, dtype: int64
전체 600건 중 217건이 실패입니다.
4. 조건으로 행 걸러내기
대괄호 안에 조건식을 넣으면 조건이 참인 행만 남습니다. 아래는 실패한 시도만 fails에 담는 코드입니다.
fails = df[df["result"] == "fail"]
print(len(fails))
print(fails.head(3))
217
timestamp src_ip username result response_ms
2 2026-11-09 01:11:19 198.51.100.23 bob fail 183
3 2026-11-09 01:14:12 198.51.100.23 alice fail 133
4 2026-11-09 01:39:57 203.0.113.77 admin fail 149
조건이 두 개면 각각 괄호로 감싸고 &(그리고)나 |(또는)로 잇습니다. Python의 and, or를 쓰면 오류가 납니다.
admin_fails = df[(df["result"] == "fail") & (df["username"] == "admin")]
print(len(admin_fails))
48
admin 계정으로 실패한 시도는 48건입니다.
5. groupby로 IP별 실패 횟수 세기
groupby("src_ip")는 같은 IP끼리 행을 묶고, size()는 묶음마다 행 수를 셉니다. sort_values(ascending=False)로 많은 순서대로 정렬합니다.
fail_by_ip = fails.groupby("src_ip").size().sort_values(ascending=False)
print(fail_by_ip.head(5))
src_ip
198.51.100.23 123
203.0.113.77 77
203.0.113.120 4
192.0.2.10 3
192.0.2.11 3
dtype: int64
198.51.100.23이 123건, 203.0.113.77이 77건으로 두 IP가 실패 217건 중 200건을 차지합니다. 나머지 IP는 4건 이하입니다.
6. agg로 여러 값을 한 번에 집계하기
실패 횟수만으로는 원래 접속이 많은 IP와 구분하기 어렵습니다. agg를 쓰면 IP마다 전체 시도 수, 실패 수, 시도한 계정 수, 평균 응답 시간을 한 표로 만들 수 있습니다. 적는 형식은 새 열 이름=("대상 열", "집계 함수")입니다.
summary = (
df.assign(is_fail=df["result"] == "fail")
.groupby("src_ip")
.agg(
attempts=("result", "size"),
fails=("is_fail", "sum"),
users=("username", "nunique"),
avg_ms=("response_ms", "mean"),
)
)
summary["fail_rate"] = (summary["fails"] / summary["attempts"]).round(2)
summary["avg_ms"] = summary["avg_ms"].round(1)
summary = summary.sort_values(["fails", "fail_rate"], ascending=False)
print(summary)
attempts fails users avg_ms fail_rate
src_ip
198.51.100.23 130 123 5 183.6 0.95
203.0.113.77 93 77 5 176.7 0.83
203.0.113.120 34 4 5 176.7 0.12
198.51.100.7 52 3 5 174.9 0.06
192.0.2.10 55 3 5 176.6 0.05
192.0.2.11 62 3 5 171.9 0.05
192.0.2.25 39 2 5 176.2 0.05
192.0.2.40 47 1 5 182.3 0.02
203.0.113.5 53 1 5 170.0 0.02
198.51.100.64 35 0 5 185.0 0.00
assign은 실패 여부를 True/False로 담은 is_fail 열을 임시로 붙입니다. True는 1로 계산되므로 sum이 곧 실패 횟수가 됩니다. 상위 두 IP는 실패율이 0.95와 0.83이고, 나머지는 0.12 이하입니다. 시도 수가 적지 않은 192.0.2.11(62건 중 3건 실패)과 비교하면 차이가 분명합니다.
실제 로그에서 이런 IP를 찾았다면 같은 시간대의 성공 로그인이 있는지 이어서 확인합니다. Linux 서버의 로그에서 같은 판단을 하는 순서는 auth.log로 SSH 침입 흔적 읽기에 있습니다.
7. 결과를 CSV로 저장하기
to_csv로 집계 결과를 파일로 남깁니다. 여기서는 src_ip가 index이므로 index=False를 붙이지 않습니다. 붙이면 IP 열이 빠진 채 저장됩니다.
summary.to_csv("fail_by_ip.csv")
print(pd.read_csv("fail_by_ip.csv").head(3))
src_ip attempts fails users avg_ms fail_rate
0 198.51.100.23 130 123 5 183.6 0.95
1 203.0.113.77 93 77 5 176.7 0.83
2 203.0.113.120 34 4 5 176.7 0.12
다시 읽어 보면 IP가 일반 열로 들어와 있습니다. 한글이 든 CSV를 Excel에서 열 계획이면 encoding="utf-8-sig"를 함께 줍니다.
8. 사용한 메서드 정리
| 단계 | 메서드 | 하는 일 | 이 글에서 확인한 값 |
|---|---|---|---|
| 읽기 | pd.read_csv |
CSV를 DataFrame으로 읽기 | 600행 5열 |
| 살펴보기 | head, info, describe |
앞 5행, 타입과 빈 값, 숫자 요약 | 빈 값 0, 응답 60~294ms |
| 값 세기 | value_counts |
열의 값별 건수 | success 383, fail 217 |
| 거르기 | df[조건] |
조건이 참인 행만 남기기 | 실패 217행 |
| 묶어 세기 | groupby().size() |
묶음별 행 수 | 최다 IP 123건 |
| 여러 집계 | groupby().agg() |
묶음별로 여러 값 계산 | 실패율 0.95, 0.83 |
| 정렬 | sort_values |
열 값 기준 정렬 | 실패 많은 순 |
| 저장 | to_csv |
DataFrame을 CSV로 쓰기 | fail_by_ip.csv 10행 |
같은 데이터를 그래프로 그리는 방법은 matplotlib 그래프 그리기: 막대, 선, 히스토그램 기초에 있습니다.
자주 묻는 질문
groupby().size()와 count()는 무엇이 다릅니까?
size()는 묶음의 행 수를 그대로 세고, count()는 열마다 빈 값(NaN)을 뺀 개수를 셉니다.
조건을 and로 이으면 왜 오류가 납니까?
and가 열 전체를 참 또는 거짓 하나로 바꾸려 하기 때문입니다. 행마다 비교하려면 조건을 괄호로 감싸고 &를 써야 합니다.
CSV가 커서 읽는 데 오래 걸리면 어떻게 합니까?
read_csv의 usecols로 필요한 열만 읽거나 chunksize로 나누어 읽으면 메모리와 시간을 줄일 수 있습니다.
이 글의 다음 단계
- matplotlib 그래프 그리기: 막대, 선, 히스토그램 기초로그인 시도 CSV 600건으로 matplotlib 막대 그래프, 선 그래프, 히스토그램을 하나씩 그리고 savefig로 PNG를 저장합니다. 한글이 깨질 때 나오는 경고와 Malgun Gothic 글꼴 설정까지 실제 출력으로 정리합니다.
- Kibana 대시보드와 GeoIP 지도로 접속 현황 보기Docker compose로 Elasticsearch 8.19와 Kibana 8.19를 띄우고, ingest pipeline의 geoip 프로세서로 접근 로그의 IP에 위치 정보를 붙입니다. 상위 IP, 상태 코드, 시간대별 요청 수, 지도 패널을 대시보드로 저장하고 저장 객체를 내보내 다시 가져옵니다.
이 내용을 팀 교육으로 진행하고 싶으신가요?
인원, 수준, 일정에 맞춰 실습 환경까지 준비해 진행합니다. 대상과 기간을 알려 주시면 구성을 제안해 드립니다.
교육 문의하기메일로 보내실 수도 있습니다: fankh111@gmail.com