알림이 하루에 수십 건 오는 팀이 있다. 처음에는 다들 확인하지만 곧 무시하게 된다. 그러다 진짜 장애 알림이 그 사이에 묻힌다. 이 글은 무엇을 알림으로 만들어야 하는지, 그리고 SLO를 기준으로 알림을 정리하는 방법을 다룬다. 결론부터 말하면 사람이 지금 행동해야 하는 것만 알림이어야 한다.알림 피로가 생기는 구조알림이 많아지는 이유는 대개 선의에서 시작된다. 장애를 놓치고 싶지 않으니 이것저것 걸어둔다. CPU 80%, 메모리 70%, 디스크 75%, 에러 로그 발생, 응답 시간 1초 초과.문제는 이 지표들이 사용자 경험과 직접 연결되지 않는다는 점이다. CPU가 80%여도 서비스는 멀쩡할 수 있다. 반대로 CPU가 30%인데 데이터베이스 커넥션이 고갈돼 모든 요청이 실패할 수도 있다.그래서 알림이..