[Grafana] Slack Alert

Grafana는 메트릭, 로그 등 다양한 데이터를 시각화할 수 있는 도구입니다. 시각화뿐만 아니라 알림을 통해서 현재 서버의 상황을 파악할 수 있습니다. 저는 이번에 알림 기능을 활용하여 에러 발생을 슬랙으로 확인할 수 있도록 설정하였습니다. 물론 시장에서는 DataDog, Sentry 같은 좋은 서비스들이 있지만, 스타트업이나 비용을 고려해야 한다면 Grafana로도 충분히 가능하다고 볼 수 있을 거 같습니다.

 

혹시라도 부정확한 정보를 전달드릴 수 있습니다. 다만 틀린 거나 부정확한 정보가 있다면 댓글을 남겨주세요.

---

1. Slack 채널 생성 및 웹훅 연결

- 슬랙 API(링크)에서 앱이 있으시면 생성하시고 없으시다면 만드시면 됩니다.(저는 있는 앱을 사용했습니다.)

- 앱을 선택하면 앱관련 설정들이 나옵니다.

- Incoming Webhooks를 선택합니다.

 

- 초록색 버튼인 reinstall to app을 선택하고 전달받을 채널을 선택합니다.

- 채널은 슬랙에서 직접 생성하시면 웹후크를 위한 채널에서 확인할 수 있습니다.

- 웹훅 설정을 하면 해당 채널에서 메시지가 나타납니다.

- 웹훅 URL을 복사합니다.(이후에 grafana에 등록이 필요합니다.)

 

2. Grafana 설정

- Alerting 선택 후 Add contact point를 선택하여 integration을 Slack으로 지정합니다.

- Webhook URL에 Slack에서 생성한 웹훅 URL을 입력합니다.(입력 후 우측 상단에 테스트 버튼으로 메시지가 전달이 되는지 확인해 보세요.)

- 테스트를 확인하셨다면, 알림 준비가 어느 정도 됐다고 생각하시면 됩니다.

 

3. Grafana 알림 정책 수정

- slack 설정으로 default policy를 변경합니다.

 

4. Grafana Alert rules 설정

- 왼쪽 이미지는 Loki에서 수집된 데이터를 기반으로 쿼리를 설정합니다.

- 오른쪽 이미지는 쿼리를 기반으로 설정해 주는 부분들입니다.

- B는 마지막 값을 선택하며, 여러 데이터 포인트 중 가장 최근 값을 가져옵니다.

- C는 B의 결괏값이 0보다 크면 알림을 발생시킵니다.

- 해당 설정은 에러가 1건이라도 발생하면 slack 알림으로 보낸다고 생각해 주시면 될 거 같습니다.

- Folder와 Groupt은 Alert rule을 관리하기 위한 설정입니다.

- Group은 현재 5분마다 쿼리를 실행해서 조건을 체크합니다.

- Pending period는 조건 위반하면 즉시 알림을 발송할지 지속된 상태를 보고 발송할지 설정하는 것입니다.

- Configure no data and error handling은 데이터가 없으면 No Data 상태로 되는데 이때 Error와 OK로 지정할 수 있습니다.(저의 경우 데이터가 없다면 OK로 지정해서 No data일 때 오류 알림이 오지 않도록 설정했습니다.)

- 일부러 오류를 발생하여 테스트를 해본 결과입니다.

 

추가)

- Summary와 Description을 수정하면 전달하는 텍스트도 변경할 수 있습니다.

- Summary와 Description으로 슬랙에 알림을 전달하려면 Contact Points에 Title과 Body에 값을 넣어주면 직접 작성한 텍스트로 전달할 수 있습니다.

 

---

 

쿼리를 추가해서 알림을 더 세분화할 수 있다고 생각합니다. 초기 설정과 테스트까지의 기록입니다. 각자의 서비스에 맞는 알림을 구현하는 것이 좋을 것이라고 생각합니다.

 

Ref.

https://pixx.tistory.com/339

[Grafana] Grafana와 Slack 연동하여 Alert 설정하기