프론트엔드인 내가 새벽2시에 출근해서 서버교체를?

 

네 그게 실제로 일어났습니다.

 

재직중인 회사의 2번째 서버교체.. 점검중 화면을 또 보게 되다니.

 

✅ 우리는 왜 서버교체를 하게 되었는가?

현재 재직중인 회사는 트래픽이 일정하지 않다. 특정 이벤트가 있을 때에만 확 몰리고, 그 외 시간에는 잠잠한 편이다.

 

2022년 초까지는 고정인스턴스를 사용하고있었다. 그러다가 이렇게 사람이 몰리게 되면... 완전 죽어버려서 아~무것도 못하는 대형이슈가 발생한다. 그래서 오토스케일링이 되는 serverless v1으로 변경을 했었다. (그 때에도 점검중 화면을 만들었었지)

그런데도! 이벤트가 있을 때 RDS의 커넥션풀이 꽉차고, CPU가 터진다.

 

serverless v2는 RDS Proxy도 적용 가능하고, Reader/Writer도 나눌 수 있기 때문에 우리는 v2로 변경을 하기로 결심하게 된다...

 

✅ 어떻게 변경을 했는가?

(0. 새벽 1시에 회사로 출근)

1. 우선 프론트를 전부 점검중으로 배포. 이 과정에서 노드 버전 오류가 나서 수많은 삽질을 했었다. 
   저녁으로 쌀국수를 시켰는데, 이것만 배포하고 마저 먹을게요! 했는데 결국 다 못먹고 버리게 됐다...
2. v2 디비를 생성
3. v1 → v2 데이터 덤프, mysql 버전 8로 올리기
4. 데이터 다 들어간 것 확인 후, 프론트 다시 복구🙃

 

✅ 변경해서 얻은 것

• RDS serverless v1 → serverless v2
  • CPU 부하 50% 감소
  • DB 커넥션 70% 감소
• 부하가 몰릴 시 lambda에서 에러 발생
  • 동시성할당 증가 신청 (처리하는데 1주일 이상 소요)
• Reader 인스턴스가 CPU 사용율이 높음
  • 쿼리문 개선이 필요하다 판단
  • 필요할 시 AWS (성능개선 도우미), 데이터독, 뉴렐릭 도입 가능하다고 함

 

✅ 웃긴 사실

이 날 점심 먹으러 내려가는 엘레베이터 안에서, 다른 층에서 탑승하신 어떤 분이 "하 씨 저 오늘 야근해요. 서버 교체하거든요." 라고 말씀하시는걸 듣고 우리 팀 사람들끼리 눈빛을 교환했는데...

네 바로 그날 밤 저는 피티(심지어 하체 함)를 조지고 택시를 타고 출근했습니다. 

그 분은 무사히 서버교체를 하셨을까요?