Ситуация: система мониторинга начала сильно тормозить и падать после добавления новых метрик от разработчиков. Ваши действия по дебагу?

Первое подозрение — высокая кардинальность метрик. Необходимо проверить количество time-series, нагрузку на TSDB, WAL и найти новые labels с большим количеством уникальных значений.

Ещё вопросы по теме «Мониторинг»

• Как отслеживать истечение срока действия сертификатов внутри кластера Kubernetes?
• Как организовать мониторинг баз данных (PostgreSQL, MySQL) и на какие метрики смотреть (время выполнения транзакций, нагрузка на диск, использование пула соединений)?
• Как настроить автоматическую генерацию тикетов в Jira при срабатывании критических алертов?
• Как организовать корреляцию логов и метрик для ускорения расследования инцидентов?
• Как организовать сбор логов в Kubernetes (стек EFK/ELK или Loki)?
• В чем разница между хранением логов в Elasticsearch и Loki (индексация, потребление ресурсов)?