Alertmanager 운영 실전: 라우팅, Inhibition, Silence로 알람 폭주 줄이기

Alertmanager 운영 실전: 라우팅, Inhibition, Silence로 알람 폭주 줄이기

알람이 많다고 안전한 것이 아니다. 관계를 모르는 알람은 incident 때 사람부터 지치게 만든다.

중급 운영에서는 Alertmanager를 단순 전달기가 아니라, 어떤 알람이 누구에게 어떤 맥락으로 가야 하는지 정리하는 계층으로 써야 한다.

왜 지금 이 주제가 중요한가

• 상위 서비스 장애 하나가 하위 의존성 경보 수십 개로 번질 수 있다.
• 운영 시간과 비운영 시간, paging과 비paging을 분리하지 않으면 팀이 소진된다.
• Inhibition과 silence 규칙이 없으면 '이미 아는 장애'가 계속 사람을 깨운다.

핵심 설계 포인트

• service, severity, environment, owner 같은 라벨을 라우팅 기준으로 통일한다.
• 상위 장애가 하위 장애를 억제하는 inhibition 규칙을 명확히 둔다.
• Silence는 임시 조치이고 영구 해결책이 아님을 운영 규칙으로 정한다.
• 알람 메시지에는 대시보드와 런북 링크를 함께 넣는다.

예시 구성

route:
  group_by: ['service', 'severity', 'environment']
inhibit_rules:
  - source_matchers: ['alertname=ServiceDown']
    target_matchers: ['alertname=PodRestartHigh']

적용 순서(실무 플로우)

큰 설계보다도, 작게 도입하고 관측하면서 범위를 넓히는 순서가 운영 성공률을 결정한다.

1. 현재 가장 시끄러운 알람 20개를 분류한다.
2. 라우팅 라벨 체계를 먼저 정리한다.
3. 원인 알람과 결과 알람 관계를 inhibition 규칙으로 모델링한다.
4. Maintenance window와 배포 창구에 silence 프로세스를 연결한다.
5. 월별로 알람 정확도와 silence 남용 여부를 리뷰한다.

운영 체크포인트

• Silence 생성 권한과 만료 시간을 운영 정책으로 제한한다.
• 알람 라벨과 대시보드 필터가 같은 키를 쓰도록 맞춘다.
• Alertmanager 설정 변경은 staging에서 먼저 리허설한다.

운영 지표/알람 추천

• 핵심 경로 에러율과 p95/p99 지연
• 알람 정확도(오탐/미탐)와 ack까지 걸린 시간
• 메트릭 수집량, 샘플 수, 저장 비용 변화
• 팀별 대시보드 조회와 incident 재현 성공률

빠른 점검 명령/쿼리

# 상위 알람 10건의 오탐/미탐 여부 점검
# 대시보드에서 증상->원인 추적이 3클릭 안에 되는지 확인
# 라벨 수가 폭증한 메트릭이 없는지 top N으로 확인

구조화 로그 필드 추천

• requestId/traceId/eventId처럼 흐름을 잇는 키를 남긴다.
• 버전, 테넌트, 리전, 대상 리소스 같은 핵심 차원을 구조화한다.
• 실패 이유(reasonCode)와 재시도 횟수(retryAttempt)를 분리한다.
• 민감정보는 마스킹하고, payload는 원본 대신 요약 정보만 남긴다.

{
  "level": "INFO",
  "message": "request completed",
  "requestId": "req_123",
  "traceId": "4bf92f...",
  "status": 200,
  "latencyMs": 123,
  "reasonCode": null
}

테스트 케이스 샘플

테스트 케이스(최소 3종):
1) 정상: 기대한 성공 경로와 상태 전이가 유지되는지
2) 실패: 오류가 예측 가능한 상태/코드로 떨어지는지
3) 동시성/재시도: 중복 요청·이벤트·배포 상황에서도 깨지지 않는지

추가(가능하면):
- 장애 복구: 프로세스 재시작, 네트워크 지연, 설정 rollback 이후에도 회복되는지
- 운영 검증: 대시보드와 알람만으로 원인을 좁힐 수 있는지

트레이드오프/대안

• 운영 복잡도를 줄이면 유연성이 줄고, 유연성을 높이면 운영 비용이 올라간다.
• 기본값은 정답이 아니라 출발점이다. 실제 트래픽과 장애 패턴을 보고 조정해야 한다.
• 문서와 자동화가 없으면 좋은 설계도 팀이 늘어나는 순간 무너진다.
• 관측 없이 최적화하면 체감 개선과 회귀를 구분하기 어렵다.

성공 기준(SLO) 예시

• 핵심 경로 에러율: 0.1% 이하
• 핵심 요청/이벤트 p95 지연: 서비스 목표 내 유지
• 중복 실행/유실/권한 우회 같은 치명적 부작용: 0건
• 장애 감지 후 임시 조치까지 걸리는 시간: 10분 이내

자주 터지는 실수/트러블슈팅

1. 모든 알람을 같은 채널로 보낸다.
2. Inhibition 없이 결과 알람을 그대로 보낸다.
3. Silence를 장기 예외 처리로 사용한다.

바로 적용 템플릿

Alertmanager 템플릿:
routing 라벨(service/severity/environment/owner)
inhibition 관계
silence 생성/만료 규칙
런북/대시보드 링크 포함

검증 방법

• 대표 incident 하나로 inhibition이 실제로 노이즈를 줄이는지 검증한다.
• 배포 중 silence가 끝난 뒤 경보가 정상 복귀하는지 확인한다.

장애 대응 Runbook(초안)

• 현상: 어디서 무엇이 깨졌는지 한 문장으로 적는다.
• 범위: 언제부터, 누구에게, 어느 경로에서 발생했는지 정리한다.
• 증거: 로그 3줄, 지표 1개, 최근 배포/설정 변경 1개를 먼저 모은다.
• 임시 조치: 차단, rollback, 스위치 전환, 재시도 제한 중 무엇을 할지 정한다.
• 근본 원인: 계약, 설정, 타임아웃, 리소스, 운영 절차 중 어느 축이 깨졌는지 좁힌다.
• 재발 방지: 테스트, 알람, 기본값, 문서를 함께 바꾼다.

리뷰 체크리스트

1. 상태 전이와 실패 시나리오가 문서와 코드에서 같은 의미로 정의돼 있다.
2. 타임아웃, 재시도, 권한, 캐시 같은 보호 장치가 서로 충돌하지 않는다.
3. 운영 중 재현 가능한 로그/지표/상관관계 키가 있다.
4. 롤백 또는 비상 스위치가 준비돼 있다.
5. 최소 1개 이상의 실패/동시성/복구 테스트가 자동화돼 있다.
6. 공식 문서 링크와 팀 의사결정 근거가 남아 있다.

도입 전 질문 체크리스트

• 이 주제의 기본값을 누가 바꿀 수 있고, 변경 기록은 어디에 남는가?
• 배포 직후 문제가 생기면 10분 안에 되돌릴 수 있는가?
• 새로운 팀원이 문서만 보고도 같은 규칙을 재현할 수 있는가?
• 장애가 났을 때 고객 영향 범위를 바로 설명할 수 있는가?

팀 문서 템플릿

팀 문서 템플릿(복붙용):
1) 목표/배경: 어떤 장애/비용을 줄이려는가
2) 범위: 어느 API/토픽/클러스터/브라우저/테넌트에 적용하는가
3) 규칙: 버전, TTL, timeout, retry, 소유 팀, 기본값
4) 예외: 차단 조건과 에러 코드, 수동 개입 조건
5) 운영: 대시보드, 알람, 배포/실험 주기
6) 장애 대응: 임시 조치, rollback, 후속 공지 절차
7) 변경 이력: 언제 누가 왜 값을 바꿨는가

FAQ(자주 묻는 질문)

Q. 처음부터 완벽하게 도입해야 하나요?
A. 아니다. 핵심 경로 1개부터 시작해서 지표와 장애 패턴을 보며 넓히는 편이 안전하다.

Q. "Alertmanager 운영 실전: 라우팅, Inhibition, Silence로 알람 폭주 줄이기"를 넣었는데도 문제가 남습니다. 어디부터 봐야 하나요?
A. 최근 변경점과 상관관계 키가 있는 로그를 먼저 보고, 기본값과 경계 조건이 실제 트래픽에 맞는지 확인한다.

Q. 팀마다 구현이 달라집니다. 무엇을 가장 먼저 고정해야 하나요?
A. 상태 전이, 예외 처리, 기본값, rollback 기준 네 가지를 먼저 문서화해야 한다.

참고/출처

• Prometheus Alertmanager Configuration
• Prometheus Alerting Best Practices