Skip to content

[Fix] Prometheus와 감시 대상의 시작 의존성 제거 #367

Description

@Gimini-3

배경

번들 Docker Compose에서 Prometheus가 Alertmanager와 Embedding Provider의 service_healthy 조건을 기다립니다. 이 때문에 감시 대상인 Embedding Provider가 기동하지 못하거나 readiness를 통과하지 못하면 Prometheus도 시작되지 않아 EmbeddingProviderDown과 EmbeddingProviderNotReady 경보를 평가할 수 없습니다.

Prometheus는 감시 대상과 독립적으로 시작하고 대상 장애를 up=0으로 수집해야 합니다. Alertmanager 연결 실패도 Prometheus의 수집과 규칙 평가를 막지 않아야 합니다.

목표

  • Prometheus의 Embedding Provider healthy 시작 의존성을 제거합니다.
  • Prometheus의 Alertmanager healthy 시작 의존성을 제거합니다.
  • Prometheus와 Alertmanager를 명시적으로 실행하도록 사용 가이드를 수정합니다.
  • 렌더링된 Compose 설정에서 시작 의존성이 다시 추가되는 회귀를 차단합니다.
  • Embedding Provider 없이도 Prometheus가 시작하고 target 장애를 기록하는지 검증합니다.

완료 조건

  • Embedding Provider가 없거나 unhealthy여도 Prometheus가 ready 상태가 된다.
  • Prometheus가 Embedding Provider 수집 실패를 up{job="embedding-provider"}=0으로 기록한다.
  • Alertmanager가 준비되지 않아도 Prometheus의 수집과 규칙 평가가 시작된다.
  • 사용자가 문서의 명령으로 Prometheus와 Alertmanager를 함께 실행할 수 있다.
  • Prometheus·Alertmanager 설정, 규칙 테스트와 Compose 검증을 통과한다.

비범위

  • 외부 Prometheus를 사용하는 배포의 구성 변경
  • Prometheus 경보 임계값과 Alertmanager 라우팅 정책 변경
  • Grafana Dashboard와 추가 Circuit Breaker 메트릭

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions