[Grafana] 그라파나와 MS Teams 연동해 알림 보내기

안녕하세요. 오송입니다.

 

오늘은 Grafana에서 Alerting 기능을 사용해 MS Teams로 알림 메시지를 전송하는 기능을 다루어 보도록 하겠습니다.

---

1. Contact points 만들기

• Alerting -> Contact points 클릭

• Add contact points 클릭

• Contact points Name 입력
• Intergration은 Microsoft Teams 찾아서 선택
• URL은 이전에 MS Teams Incoming webhook 설정 당시에 받은 URL 넣기
• 모든 입력 후 Test 버튼 클릭 후 정상적으로 메시지가 발송되는지 확인
  • 해당 글 참고( [zabbix] zabbix MS Teams로 알람 전송하기 (tistory.com))

• 발송 확인 되었다면, Save contact point 클릭

728x90

2. Alerting 만들기

• Alerting -> Alert rules 클릭

장비의 CPU 사용량이 85% 이상 발생한다면, MS TEAMS로 알림이 가도록 설정하겠습니다.

• New alert rule 클릭

1. Rule name 지정

• 목록에서 식별하기 편하게 입력

2. Define query and alert condition

• 정보 수집 할 대상을 선택

• 다른 값들은 건들지 말고 Threshold에서 수정
• IS ABOVE로 변경 후 값 선택 ABOVE는 해당 값의 미만 이라는 뜻

3. Set evaluation behavior

• Folder와 Evaluation group은 마음대로 해도 되지만 시각성을 위해 어떠한 알림의 기능인지에 대한 group으로 묶어주는게 편함.
• Evaluation group에서 Evaluation interval은 10s로 설정함
  • 해당 Evaluation interval 값은 알림 규칙이 얼마나 자주 평가되는지에 대한 결정 시간
  • 데이터가 자주 업데이트 되는 장비라면 짧은 간격으로 사용하는 것을 권장
• Pending period는 30s로 설정
  • 조건이 충족된 후 알림이 발송되기까지의 대기 시간이라고 보면 된다.
  • 이 시간동안 조건이 계속 충족되어야만 알림 발송이 된다. (30s 설정 시 30초 동안 지속적으로 조건이 유지되어야 알림발송)
  • 해당 테스트에서는 10s를 했지만 너무 자주 발생해서, 30s로 테스트 진행

4. Configure labels and notifications

• 이전에 생성하였던 Contact Points 선택
  • MS TEAMS

5. Add annotations

• Summary에는 어떠한 내용의 알림인지 입력
• Description은 선택사항이지만, 추후 알림을 받은 후 확인을 위해 어떤 상황인지에 대해 입력
• 대시보드를 생성하였다면, 아래의 Link dashboard and panel을 클릭해서 해당 cpu 대시보드 선택하면 됨
  • 해당 설정 시에 알림 받으면, 대시보드를 볼 수 있는 링크를 제공해줌.
    • 단, 해당 설정 외부에서 접속시에는 공인아이피 설정 또는 NAT 설정이 필요하며, Grafana를 설치 한 서버에서 작업 필요

결과

• 아래처럼 해당 장비의 CPU 사용량이 85% 이상이 된다면 MS TEAMS로 해당 알림이 전송된다.