테스트 데이터 관리 실전: factory, fixture, seed를 섞어도 테스트가 안 흔들리게 만드는 법

테스트 데이터 관리 실전: factory, fixture, seed를 섞어도 테스트가 안 흔들리게 만드는 법

테스트가 느리거나 flaky한 이유 중 상당수는 코드보다 데이터가 불안정해서다.

중급 팀에서는 fixture, factory, seed를 상황에 맞게 분리하고, 어떤 계층의 테스트가 어떤 데이터를 소유하는지 정해야 한다.

왜 지금 이 주제가 중요한가

• 공유 데이터가 많아질수록 테스트 간 간섭과 순서 의존성이 커진다.
• 현실적인 데이터와 빠른 테스트 사이에는 항상 균형점이 필요하다.
• 환경 준비 시간을 줄이지 못하면 테스트는 결국 덜 돌게 된다.

핵심 설계 포인트

• 단위 테스트는 factory 중심, 통합 테스트는 seed/fixture 중심으로 구분할 수 있다.
• 읽기 쉬운 기본 데이터와 명시적 override 패턴을 함께 둔다.
• 테스트 데이터 생성 규칙을 공통 유틸로 묶어 중복을 줄인다.
• 격리 수준을 지키기 위해 트랜잭션 rollback 또는 독립 환경을 사용한다.

예시 구성

unit test -> lightweight factory
integration test -> seeded reference data + per-test override
e2e test -> isolated environment + deterministic fixture

적용 순서(실무 플로우)

큰 설계보다도, 작게 도입하고 관측하면서 범위를 넓히는 순서가 운영 성공률을 결정한다.

1. 현재 flaky 테스트의 원인이 데이터인지 실행 환경인지 분류한다.
2. 테스트 계층별 데이터 전략(factory/fixture/seed)을 문서화한다.
3. 공통 fixture를 최소화하고 domain-specific factory를 만든다.
4. seed 데이터는 버전 관리하고 변경 이유를 남긴다.
5. 테스트 실행 시간을 측정하며 데이터 준비 비용을 줄인다.

운영 체크포인트

• fixture가 너무 커지면 의도를 읽기 어렵다. 작은 조합 단위로 쪼갠다.
• seed 데이터는 migration처럼 관리한다.
• 테스트 데이터 변경도 코드 변경처럼 리뷰한다.

운영 지표/알람 추천

• 테스트 실행 시간과 flaky 비율
• 환경 준비 실패율과 데이터 재사용 비율
• 테스트 격리 실패 건수
• 릴리스 전 회귀 발견 건수

빠른 점검 명령/쿼리

pytest -q --maxfail=1
rg 'fixture|factory|seed' tests -n
docker ps

구조화 로그 필드 추천

• requestId/traceId/eventId처럼 흐름을 잇는 키를 남긴다.
• 버전, 테넌트, 리전, 대상 리소스 같은 핵심 차원을 구조화한다.
• 실패 이유(reasonCode)와 재시도 횟수(retryAttempt)를 분리한다.
• 민감정보는 마스킹하고, payload는 원본 대신 요약 정보만 남긴다.

{
  "level": "INFO",
  "message": "request completed",
  "requestId": "req_123",
  "traceId": "4bf92f...",
  "status": 200,
  "latencyMs": 123,
  "reasonCode": null
}

테스트 케이스 샘플

테스트 케이스(최소 3종):
1) 정상: 기대한 성공 경로와 상태 전이가 유지되는지
2) 실패: 오류가 예측 가능한 상태/코드로 떨어지는지
3) 동시성/재시도: 중복 요청·이벤트·배포 상황에서도 깨지지 않는지

추가(가능하면):
- 장애 복구: 프로세스 재시작, 네트워크 지연, 설정 rollback 이후에도 회복되는지
- 운영 검증: 대시보드와 알람만으로 원인을 좁힐 수 있는지

트레이드오프/대안

• 운영 복잡도를 줄이면 유연성이 줄고, 유연성을 높이면 운영 비용이 올라간다.
• 기본값은 정답이 아니라 출발점이다. 실제 트래픽과 장애 패턴을 보고 조정해야 한다.
• 문서와 자동화가 없으면 좋은 설계도 팀이 늘어나는 순간 무너진다.
• 관측 없이 최적화하면 체감 개선과 회귀를 구분하기 어렵다.

성공 기준(SLO) 예시

• 핵심 경로 에러율: 0.1% 이하
• 핵심 요청/이벤트 p95 지연: 서비스 목표 내 유지
• 중복 실행/유실/권한 우회 같은 치명적 부작용: 0건
• 장애 감지 후 임시 조치까지 걸리는 시간: 10분 이내

자주 터지는 실수/트러블슈팅

1. 모든 테스트가 같은 fixture를 공유한다.
2. 무작위 데이터가 실패 재현을 어렵게 만든다.
3. seed와 factory 역할이 섞여 있다.

바로 적용 템플릿

테스트 데이터 템플릿:
테스트 계층별 전략(unit/integration/e2e)
factory 기본값과 override
seed 버전 관리
격리/정리 방법

검증 방법

• 같은 테스트를 여러 번 돌려도 데이터 충돌 없이 동일 결과가 나오는지 확인한다.
• 테스트 데이터 준비 시간을 전후 비교해 개선 효과를 측정한다.

장애 대응 Runbook(초안)

• 현상: 어디서 무엇이 깨졌는지 한 문장으로 적는다.
• 범위: 언제부터, 누구에게, 어느 경로에서 발생했는지 정리한다.
• 증거: 로그 3줄, 지표 1개, 최근 배포/설정 변경 1개를 먼저 모은다.
• 임시 조치: 차단, rollback, 스위치 전환, 재시도 제한 중 무엇을 할지 정한다.
• 근본 원인: 계약, 설정, 타임아웃, 리소스, 운영 절차 중 어느 축이 깨졌는지 좁힌다.
• 재발 방지: 테스트, 알람, 기본값, 문서를 함께 바꾼다.

리뷰 체크리스트

1. 상태 전이와 실패 시나리오가 문서와 코드에서 같은 의미로 정의돼 있다.
2. 타임아웃, 재시도, 권한, 캐시 같은 보호 장치가 서로 충돌하지 않는다.
3. 운영 중 재현 가능한 로그/지표/상관관계 키가 있다.
4. 롤백 또는 비상 스위치가 준비돼 있다.
5. 최소 1개 이상의 실패/동시성/복구 테스트가 자동화돼 있다.
6. 공식 문서 링크와 팀 의사결정 근거가 남아 있다.

도입 전 질문 체크리스트

• 이 주제의 기본값을 누가 바꿀 수 있고, 변경 기록은 어디에 남는가?
• 배포 직후 문제가 생기면 10분 안에 되돌릴 수 있는가?
• 새로운 팀원이 문서만 보고도 같은 규칙을 재현할 수 있는가?
• 장애가 났을 때 고객 영향 범위를 바로 설명할 수 있는가?

팀 문서 템플릿

팀 문서 템플릿(복붙용):
1) 목표/배경: 어떤 장애/비용을 줄이려는가
2) 범위: 어느 API/토픽/클러스터/브라우저/테넌트에 적용하는가
3) 규칙: 버전, TTL, timeout, retry, 소유 팀, 기본값
4) 예외: 차단 조건과 에러 코드, 수동 개입 조건
5) 운영: 대시보드, 알람, 배포/실험 주기
6) 장애 대응: 임시 조치, rollback, 후속 공지 절차
7) 변경 이력: 언제 누가 왜 값을 바꿨는가

FAQ(자주 묻는 질문)

Q. 처음부터 완벽하게 도입해야 하나요?
A. 아니다. 핵심 경로 1개부터 시작해서 지표와 장애 패턴을 보며 넓히는 편이 안전하다.

Q. "테스트 데이터 관리 실전: factory, fixture, seed를 섞어도 테스트가 안 흔들리게 만드는 법"를 넣었는데도 문제가 남습니다. 어디부터 봐야 하나요?
A. 최근 변경점과 상관관계 키가 있는 로그를 먼저 보고, 기본값과 경계 조건이 실제 트래픽에 맞는지 확인한다.

Q. 팀마다 구현이 달라집니다. 무엇을 가장 먼저 고정해야 하나요?
A. 상태 전이, 예외 처리, 기본값, rollback 기준 네 가지를 먼저 문서화해야 한다.

참고/출처

• pytest Fixtures
• factory_boy Documentation