Cilium 네트워크 정책 실전: eBPF 기반 가시성과 제어를 같이 가져가는 방법

Cilium 네트워크 정책 실전: eBPF 기반 가시성과 제어를 같이 가져가는 방법

기본 NetworkPolicy만으로 충분한 경우도 있지만, 더 세밀한 정책과 네트워크 가시성이 필요한 순간 Cilium이 매력적으로 보인다.

중급 운영에서는 기능 수보다 CNI 변경 리스크와 운영 모델 변화를 먼저 이해해야 한다.

왜 지금 이 주제가 중요한가

• L3/L4 정책만으로는 애플리케이션 경계 제어가 부족할 때가 있다.
• 정책과 네트워크 흐름을 같은 도구에서 보고 싶은 요구가 커진다.
• CNI 교체는 클러스터 운영에서 결코 작은 변화가 아니다.

핵심 설계 포인트

• 기본 deny-all과 허용 규칙을 작게 시작한다.
• CiliumNetworkPolicy의 확장 기능을 바로 다 쓰기보다 운영이 필요한 것부터 적용한다.
• Hubble 같은 가시성 도구를 정책 검증과 함께 쓴다.
• CNI 변경은 클러스터 유형과 네트워크 환경별로 사전 검증한다.

예시 구성

apiVersion: cilium.io/v2
kind: CiliumNetworkPolicy
spec:
  endpointSelector: { matchLabels: { app: checkout } }
  egress:
    - toEndpoints: [{ matchLabels: { app: payments } }]

적용 순서(실무 플로우)

큰 설계보다도, 작게 도입하고 관측하면서 범위를 넓히는 순서가 운영 성공률을 결정한다.

1. 현재 네트워크 정책이 부족한 사례를 수집한다.
2. 작은 네임스페이스에서 Cilium 정책과 가시성 흐름을 검증한다.
3. deny-all -> allow-list 순으로 점진 적용한다.
4. 운영자와 개발자가 같은 흐름 지도를 볼 수 있게 도구를 연동한다.
5. 전사 적용 전 장애 대응 절차를 시뮬레이션한다.

운영 체크포인트

• 정책 rollout 전후 허용/차단 흐름을 시각적으로 비교한다.
• 클러스터별 CNI 상태와 버전을 표준화한다.
• 운영 중 임시 예외 정책은 만료 시간을 둔다.

운영 지표/알람 추천

• Pod 재시작, 스케줄링 실패, preemption 횟수
• 노드/존 단위 분산 상태와 skew
• rollout 중 availability 감소 비율
• CPU throttling, memory pressure, eviction 이벤트

빠른 점검 명령/쿼리

kubectl get pods -A -o wide
kubectl get events --sort-by=.lastTimestamp | tail -n 30
kubectl describe priorityclass

구조화 로그 필드 추천

• requestId/traceId/eventId처럼 흐름을 잇는 키를 남긴다.
• 버전, 테넌트, 리전, 대상 리소스 같은 핵심 차원을 구조화한다.
• 실패 이유(reasonCode)와 재시도 횟수(retryAttempt)를 분리한다.
• 민감정보는 마스킹하고, payload는 원본 대신 요약 정보만 남긴다.

{
  "level": "INFO",
  "message": "request completed",
  "requestId": "req_123",
  "traceId": "4bf92f...",
  "status": 200,
  "latencyMs": 123,
  "reasonCode": null
}

테스트 케이스 샘플

테스트 케이스(최소 3종):
1) 정상: 기대한 성공 경로와 상태 전이가 유지되는지
2) 실패: 오류가 예측 가능한 상태/코드로 떨어지는지
3) 동시성/재시도: 중복 요청·이벤트·배포 상황에서도 깨지지 않는지

추가(가능하면):
- 장애 복구: 프로세스 재시작, 네트워크 지연, 설정 rollback 이후에도 회복되는지
- 운영 검증: 대시보드와 알람만으로 원인을 좁힐 수 있는지

트레이드오프/대안

• 운영 복잡도를 줄이면 유연성이 줄고, 유연성을 높이면 운영 비용이 올라간다.
• 기본값은 정답이 아니라 출발점이다. 실제 트래픽과 장애 패턴을 보고 조정해야 한다.
• 문서와 자동화가 없으면 좋은 설계도 팀이 늘어나는 순간 무너진다.
• 관측 없이 최적화하면 체감 개선과 회귀를 구분하기 어렵다.

성공 기준(SLO) 예시

• 핵심 경로 에러율: 0.1% 이하
• 핵심 요청/이벤트 p95 지연: 서비스 목표 내 유지
• 중복 실행/유실/권한 우회 같은 치명적 부작용: 0건
• 장애 감지 후 임시 조치까지 걸리는 시간: 10분 이내

자주 터지는 실수/트러블슈팅

1. CNI 교체를 단순 기능 추가처럼 본다.
2. deny-all 없이 예외 규칙만 늘린다.
3. 정책 차단 원인을 추적할 가시성 도구가 없다.

바로 적용 템플릿

Cilium 도입 템플릿:
대상 네임스페이스
기본 정책(deny-all/allow-list)
가시성 도구 연동
장애 대응 예외 정책 절차

검증 방법

• 정책 추가 전후로 실제 네트워크 흐름이 의도대로 차단/허용되는지 확인한다.
• 문제 발생 시 Hubble 등으로 원인 파악이 빠른지 검증한다.

장애 대응 Runbook(초안)

• 현상: 어디서 무엇이 깨졌는지 한 문장으로 적는다.
• 범위: 언제부터, 누구에게, 어느 경로에서 발생했는지 정리한다.
• 증거: 로그 3줄, 지표 1개, 최근 배포/설정 변경 1개를 먼저 모은다.
• 임시 조치: 차단, rollback, 스위치 전환, 재시도 제한 중 무엇을 할지 정한다.
• 근본 원인: 계약, 설정, 타임아웃, 리소스, 운영 절차 중 어느 축이 깨졌는지 좁힌다.
• 재발 방지: 테스트, 알람, 기본값, 문서를 함께 바꾼다.

리뷰 체크리스트

1. 상태 전이와 실패 시나리오가 문서와 코드에서 같은 의미로 정의돼 있다.
2. 타임아웃, 재시도, 권한, 캐시 같은 보호 장치가 서로 충돌하지 않는다.
3. 운영 중 재현 가능한 로그/지표/상관관계 키가 있다.
4. 롤백 또는 비상 스위치가 준비돼 있다.
5. 최소 1개 이상의 실패/동시성/복구 테스트가 자동화돼 있다.
6. 공식 문서 링크와 팀 의사결정 근거가 남아 있다.

도입 전 질문 체크리스트

• 이 주제의 기본값을 누가 바꿀 수 있고, 변경 기록은 어디에 남는가?
• 배포 직후 문제가 생기면 10분 안에 되돌릴 수 있는가?
• 새로운 팀원이 문서만 보고도 같은 규칙을 재현할 수 있는가?
• 장애가 났을 때 고객 영향 범위를 바로 설명할 수 있는가?

팀 문서 템플릿

팀 문서 템플릿(복붙용):
1) 목표/배경: 어떤 장애/비용을 줄이려는가
2) 범위: 어느 API/토픽/클러스터/브라우저/테넌트에 적용하는가
3) 규칙: 버전, TTL, timeout, retry, 소유 팀, 기본값
4) 예외: 차단 조건과 에러 코드, 수동 개입 조건
5) 운영: 대시보드, 알람, 배포/실험 주기
6) 장애 대응: 임시 조치, rollback, 후속 공지 절차
7) 변경 이력: 언제 누가 왜 값을 바꿨는가

FAQ(자주 묻는 질문)

Q. 처음부터 완벽하게 도입해야 하나요?
A. 아니다. 핵심 경로 1개부터 시작해서 지표와 장애 패턴을 보며 넓히는 편이 안전하다.

Q. "Cilium 네트워크 정책 실전: eBPF 기반 가시성과 제어를 같이 가져가는 방법"를 넣었는데도 문제가 남습니다. 어디부터 봐야 하나요?
A. 최근 변경점과 상관관계 키가 있는 로그를 먼저 보고, 기본값과 경계 조건이 실제 트래픽에 맞는지 확인한다.

Q. 팀마다 구현이 달라집니다. 무엇을 가장 먼저 고정해야 하나요?
A. 상태 전이, 예외 처리, 기본값, rollback 기준 네 가지를 먼저 문서화해야 한다.

참고/출처

• Cilium Documentation
• Hubble Observability