GCP Terraform GKE 플랫폼.
노드 풀 업그레이드 중에도 용량을 유지하는 SURGE 설정과, VPN 대역만 허용하는 방화벽 기본선을 코드로 담은 모듈 모음입니다.
문제
GKE 노드를 업그레이드하는 동안 서비스 용량이 줄면 안 됐고, 관리 포트는 VPN 대역에서만 열려야 했습니다.
접근
노드 풀 업그레이드 전략을 SURGE로 두어 새 노드 5대를 먼저 올리고 사용 불가 노드를 0으로 유지합니다. c2sfirewall 모듈은 우선순위 1000으로 VPN의 관리 포트만 열고, 우선순위 65534로 그 외 tcp와 udp 아웃바운드를 막습니다.
구현
- Terraform
- GCP
- GKE
- Cloud Logging
- Cloud Monitoring
규모 · 모듈 22종 · 예제 3개
노드 풀 업그레이드 전략은 SURGE입니다. max_surge 5, max_unavailable 0입니다.
새 노드 5개가 먼저 뜹니다. 기존 노드는 아직 그대로입니다.
워크로드가 새 노드로 옮겨 갑니다. 교체 중에도 빠지는 노드는 없습니다.
새 노드가 준비된 뒤에야 기존 노드가 하나씩 빠집니다.
교체가 끝납니다. soak 3600s는 BLUE_GREEN으로 바꿀 때만 읽히는 값입니다.
전체 단계 읽기
- 노드 풀 업그레이드 전략은 SURGE입니다. max_surge 5, max_unavailable 0입니다.
- 새 노드 5개가 먼저 뜹니다. 기존 노드는 아직 그대로입니다.
- 워크로드가 새 노드로 옮겨 갑니다. 교체 중에도 빠지는 노드는 없습니다.
- 새 노드가 준비된 뒤에야 기존 노드가 하나씩 빠집니다.
- 교체가 끝납니다. soak 3600s는 BLUE_GREEN으로 바꿀 때만 읽히는 값입니다.
결과
새 노드가 준비된 뒤에야 기존 노드가 빠집니다. 호스트 장애는 hostError 감사 로그에서 로그 기반 지표, 알림 정책, Slack 채널 순으로 이어지도록 구성했습니다.
- 22
- 공개한 Terraform 모듈
- 5
- max_surge로 먼저 뜨는 새 노드
- 0
- max_unavailable, 동시에 빠지는 노드
배운 점
설정 이름만 보고 동작을 판단하면 틀릴 수 있다는 점을 배웠습니다. soak 시간처럼 이름만 보면 모든 업그레이드에 적용될 것 같은 값도 실제로는 BLUE_GREEN 전략에서만 읽히기 때문에, SURGE 예제에서는 이 값이 동작하지 않는다는 사실을 주석으로 분명히 남겼습니다. 업그레이드 중 용량을 지키는 것도 "새 노드를 먼저 올리고(max_surge 5), 빠지는 노드는 0으로 둔다"처럼 의도를 숫자로 고정해야 운영자가 바뀌어도 같은 결과가 나옵니다. 방화벽 역시 필요한 관리 포트만 우선순위 1000으로 열고 나머지를 65534에서 막는 기본선을 모듈에 넣어, 새 환경이 처음부터 같은 규칙으로 시작하게 했습니다.
모듈 22종 — max_surge 5, max_unavailable 0