2017-11-03 5 views
0

나는 잠시 동안 프로 메테우스를 사용 해왔지만이 문제를 알아 내는데 어려움이 있습니다.Prometheus dynamic alerting

Prometheus에서 모니터링 할 청색/녹색 배치 설정을 구현 중입니다. 모든 수출 업체는 영사를 통해 발견되고 연맹을 통해 긁어 모아질 로컬 prometheus 서버에서 수집되므로보다 쉽게 ​​설정을 보호하고 전체 설치에 대해 하나의 모니터링 액세스 포인트 만 가질 수 있습니다.

이제 파란색이 생산 중입니다. 대기 시간과 같은 측정 항목 및 필요한 경우 디버깅을위한 시스템 측정 항목을 수집합니다.

녹색이 프로덕션 환경에 없으면 대부분의 서버가 중지됩니다. 따라서 green-mysql이 응답하지 않습니다.

이 문제를 해결하는 가장 좋은 방법은 무엇입니까? 우리는 green db가 다운되는 것을 허용하는 것처럼 mysql을 단독으로 검사 할 수 없다. 녹색은 생산을하지 않아도 반응한다. 둘 다 확인하면 더 이상 신경 쓰지 않는 비활성 측을 종료 할 때 경고가 표시됩니다. 경고 우선 순위를 수동으로 전환 할 수 있지만 좋은 해결책은 아닙니다.

저는 온라인으로 검색했지만 컴퓨터 대신 모니터링 서비스 만 언급했습니다. 녹색에 완전히 또는 부분적으로 중단되면 녹색 mysql 서비스를 확인할 수 없다는 것에 동의하는 동안.

우리 머신에서 변수를 읽어 모니터링 우선 순위를 바꿀 수 있습니까? 나는 Prometheus가 그것을지지한다고 생각하지 않는다.

좋은 방향으로 나를 가리키는 모든 힌트 또는 독서 자료가 인정됩니다.

답변

0

저는 실제로이 문제에 직접 대응할 것입니다.

응용 프로그램에/메트릭 페이지를 추가합니다. 공유 영사 k/v 스토어로 인해 파란색 또는 초록색이 활성화되어 있는지 알고 있습니다.

결과는 다음과 같습니다. 이것에

myapp_blue_live{region=xxx} 0 
myapp_green_live{region=xxx} 1 

덕분에, 우리가 사용할 수있는 프로 메테우스의 경우, 다음 (간체) 구성과 같은 경고의 구문과 말 것 :

if myapp_blue_live == 0 and mysql_errors > 0 

우리의 모니터링은 항상 실제 환경을 다음이 방법. 대기중인 색상은 다음 영업일에 처리되도록 메일/여유로 라우트 된 경고를 가질 수 있습니다.

0

모든 경고에 누출되지 않는 또 다른 옵션은 환경을 변경할 때 전환하는 침묵을 갖는 것입니다.